Scarnox · Blog

Proxy residenziali e datacenter per lo scraping

I proxy residenziali e quelli datacenter cambiano entrambi l'indirizzo da cui sembra provenire il tuo traffico, ma non sono intercambiabili. Un proxy datacenter instrada il traffico attraverso server ospitati in un data center. Un proxy residenziale instrada il traffico attraverso un indirizzo che un provider internet ha assegnato a una connessione domestica. La differenza si vede nella velocità, nella fiducia che il sito attribuisce all'indirizzo e nei costi di gestione. Questa guida li confronta e ti offre un test semplice per decidere quale serve al tuo scraper.

La risposta breve

Usa proxy datacenter quando il bersaglio non si difende in modo stretto dall'automazione, ti serve un throughput elevato e raccogli da un sito con una politica di frequenza generosa. Usa proxy residenziali quando il bersaglio valuta gli indirizzi in base all'origine, quando ti serve un paese o una città specifici, o quando gli indirizzi datacenter continuano a essere bloccati. Molti progetti usano entrambi: datacenter per la maggior parte del lavoro, residenziali per le pagine che rifiutano tutto il resto.

Come si confrontano

Fiducia. I siti sanno quali intervalli di indirizzi appartengono a provider di hosting, e molti li valutano più in basso per impostazione predefinita. Un indirizzo residenziale appare come qualunque altro visitatore domestico, quindi parte da un punteggio migliore. La fiducia è il motivo principale per scegliere il residenziale.

Velocità. Le connessioni datacenter sono di solito più veloci e stabili. Le connessioni residenziali sono più lente e possono cadere, perché girano su reti di consumo. Prevedi timeout più lunghi e più tentativi con il traffico residenziale.

Targeting geografico. I pool residenziali offrono di solito un targeting più fine, per paese e spesso per regione o città. Conta quando un sito mostra prezzi, disponibilità o contenuti diversi in base alla posizione. I pool datacenter sono di solito più grossolani.

Stabilità di un indirizzo. Un indirizzo datacenter di solito mantiene la sua reputazione nel tempo, il che aiuta con le sessioni persistenti. Gli indirizzi residenziali cambiano più spesso, quindi la continuità della sessione dipende di più dal provider.

Costo per richiesta. I proxy datacenter sono in genere più economici per volumi elevati. Il traffico residenziale ha un prezzo diverso ed è di solito più costoso per lo stesso numero di richieste. Verifica le tariffe attuali del provider invece di dare per scontato che uno dei due sia economico.

Esegui un test equo

L'unico modo affidabile per scegliere è testare entrambi sul tuo bersaglio reale. Mantieni il test piccolo e leale:

  1. Scegli dieci pagine del bersaglio che rappresentano il carico di lavoro reale.
  2. Esegui lo stesso script prima tramite un pool datacenter, poi tramite un pool residenziale, usando lo stesso ritmo e le stesse intestazioni.
  3. Misura il tasso di successo, il tempo di risposta mediano e il numero di blocchi o pagine di sfida.
  4. Scegli il pool più economico che raggiunge il tuo obiettivo di successo, non quello con i numeri grezzi migliori.
import time
import requests

def measure(urls: list[str], proxy: str) -> dict:
    ok, blocked, times = 0, 0, []
    for url in urls:
        start = time.monotonic()
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=30)
            times.append(time.monotonic() - start)
            if r.status_code in (403, 429, 503):
                blocked += 1
            else:
                ok += 1
        except requests.RequestException:
            blocked += 1
        time.sleep(2)  # mantieni il test educato
    return {
        "success_rate": ok / len(urls),
        "blocked": blocked,
        "median_seconds": sorted(times)[len(times) // 2] if times else None,
    }

Esegui il test sulla stessa lista di URL per ciascun tipo di proxy, e confronta i risultati fianco a fianco. Ripeti il test in un momento diverso della giornata, perché il carico su entrambe le reti cambia.

Quando compare un captcha

Blocchi e captcha sono problemi diversi. Un proxy residenziale può ridurre la frequenza con cui compare un captcha, ma quando ne compare uno ti serve comunque un token valido. Il tipo di captcha attivo su Scarnox è PopularCaptcha. La guida Python per PopularCaptcha mostra come il token viene richiesto e inviato. Se il sito lega il token all'indirizzo di rete, usa lo stesso proxy per la pagina e per la risoluzione. Vedi proxy o proxyless per il captcha per questa scelta.

Errori da evitare

L'errore più comune è acquistare traffico residenziale per un lavoro che gli indirizzi datacenter gestiscono perfettamente. Se il bersaglio è un catalogo pubblico con una politica di frequenza generosa, il costo extra ti porta poco. L'errore opposto è testare una sola volta, in un pomeriggio tranquillo, e concludere che un pool sia affidabile. Il carico cambia nel corso della giornata, quindi esegui il confronto in più momenti. Un terzo errore è misurare solo il tasso di successo. Un pool che restituisce una pagina dall'aspetto corretto ma in realtà è una sfida o un modello vuoto non ha avuto successo, quindi controlla il contenuto della risposta oltre al suo codice di stato.

Etica dei pool residenziali

I proxy residenziali comportano una responsabilità che i datacenter non hanno. Gli indirizzi appartengono a famiglie reali. Scegli un provider che reperisce gli indirizzi con il consenso consapevole delle persone coinvolte, e chiedi come lo fa prima di registrarti. Evita qualsiasi servizio che instrada il traffico attraverso dispositivi o software installati senza il consenso del proprietario. È un danno alla privacy, ed è anche un rischio legale per il tuo progetto.

Scraping responsabile

Passi successivi

Inizia con il credito di prova gratuito, senza carta: crea un account ed esegui il flusso PopularCaptcha su una pagina di tua proprietà. Per le tariffe attuali, consulta la pagina dei prezzi.