Scarnox · Blog

Residentiële versus datacenter-proxies voor scraping

Residentiële en datacenter-proxies veranderen beide het adres waarvan je verkeer lijkt te komen, maar ze zijn niet inwisselbaar. Een datacenterproxy routeert via servers in een datacenter. Een residentiële proxy routeert via een adres dat een internetprovider aan een thuisverbinding heeft toegewezen. Het verschil zit in snelheid, in hoeveel een site het adres vertrouwt, en in wat elk kost om te draaien. Deze gids vergelijkt ze en geeft je een eenvoudige test om te bepalen welke je scraper nodig heeft.

Het korte antwoord

Gebruik datacenter-proxies wanneer het doel niet streng op automatisering let, je een hoge doorvoer nodig hebt, en je verzamelt bij een site met een ruim toegangsbeleid. Gebruik residentiële proxies wanneer het doel adressen op herkomst beoordeelt, wanneer je een specifiek land of een specifieke stad nodig hebt, of wanneer datacenteradressen steeds worden geblokkeerd. Veel projecten gebruiken beide: datacenter voor het grootste deel van het werk, residentieel voor de pagina's die al het andere weigeren.

Hoe ze zich verhouden

Vertrouwen. Sites weten welke adresbereiken bij hostingproviders horen, en veel ervan scoren die standaard lager. Een residentieel adres lijkt op elke thuisbezoeker, dus het begint met een betere score. Vertrouwen is de grootste reden om residentieel te kiezen.

Snelheid. Datacenterverbindingen zijn meestal sneller en stabieler. Residentiële verbindingen zijn trager en kunnen wegvallen, omdat ze over consumentennetwerken lopen. Reken op langere timeouts en meer retries bij residentieel verkeer.

Geografische targeting. Residentiële pools bieden meestal fijnmaziger targeting, per land en vaak per regio of stad. Dat is belangrijk wanneer een site prijzen, voorraad of inhoud per locatie verschillend toont. Datacenterpools zijn doorgaans grover.

Stabiliteit van een adres. Een datacenteradres behoudt meestal zijn reputatie in de tijd, wat helpt bij vaste sessies. Residentiële adressen veranderen vaker, dus de sessiecontinuïteit hangt meer van de provider af.

Kosten per request. Datacenterproxies zijn over het algemeen goedkoper bij grote volumes. Residentieel verkeer wordt anders geprijsd en is meestal duurder voor hetzelfde aantal requests. Controleer de actuele prijzen van de provider in plaats van aan te nemen dat een van beide goedkoop is.

Voer een eerlijke test uit

De enige betrouwbare manier om te kiezen is beide testen tegen je echte doel. Houd de test klein en eerlijk:

Kies tien pagina's van het doel die je echte werkbelasting vertegenwoordigen.
Draai hetzelfde script via een datacenterpool, en daarna via een residentiële pool, met dezelfde vertraging en dezelfde headers.
Meet het slagingspercentage, de mediane responstijd en het aantal blokkades of uitdagingspagina's.
Kies de goedkoopste pool die je slagingsdoel haalt, niet die met de beste ruwe cijfers.

import time
import requests

def measure(urls: list[str], proxy: str) -> dict:
    ok, blocked, times = 0, 0, []
    for url in urls:
        start = time.monotonic()
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=30)
            times.append(time.monotonic() - start)
            if r.status_code in (403, 429, 503):
                blocked += 1
            else:
                ok += 1
        except requests.RequestException:
            blocked += 1
        time.sleep(2)  # hou de test beleefd
    return {
        "success_rate": ok / len(urls),
        "blocked": blocked,
        "median_seconds": sorted(times)[len(times) // 2] if times else None,
    }

Draai het op dezelfde lijst URL's voor elk proxytype, en vergelijk de resultaten naast elkaar. Herhaal de test op een ander moment van de dag, want de belasting op beide netwerken verandert.

Wanneer een captcha verschijnt

Blokkades en captchas zijn verschillende problemen. Een residentiële proxy kan verminderen hoe vaak een captcha verschijnt, maar wanneer er een verschijnt, heb je nog steeds een geldig token nodig. Het live captchatype bij Scarnox is PopularCaptcha. De PopularCaptcha-gids voor Python laat zien hoe het token wordt aangevraagd en ingediend. Als de site het token aan het netwerkadres bindt, houd dan dezelfde proxy voor de pagina en de solve aan. Zie proxy versus proxyless captcha voor die keuze.

Fouten om te vermijden

De meest voorkomende fout is residentieel verkeer kopen voor een taak die datacenteradressen prima aankunnen. Als het doel een openbare catalogus is met een ruim toegangsbeleid, levert de extra kost weinig op. De omgekeerde fout is eenmaal testen op een rustige middag en concluderen dat een pool betrouwbaar is. De belasting verandert gedurende de dag, dus draai je vergelijking op meer dan één moment. Een derde fout is alleen het slagingspercentage meten. Een pool die een pagina teruggeeft die er goed uitziet maar eigenlijk een uitdaging of een leeg sjabloon is, is niet geslaagd, dus controleer naast de statuscode ook de inhoud van het antwoord.

Ethiek van residentiële pools

Residentiële proxies brengen een verantwoordelijkheid met zich mee die datacenterproxies niet hebben. De adressen behoren toe aan echte huishoudens. Kies een provider die zijn adressen verkrijgt met de bewuste toestemming van de betrokken mensen, en vraag hoe dat gebeurt voordat je je aanmeldt. Vermijd elke dienst die verkeer routeert via apparaten of software die zonder toestemming van de eigenaar zijn geïnstalleerd. Dat is een schending van de privacy, en het is ook een juridisch risico voor je project.

Scrape verantwoord

Lees robots.txt en de voorwaarden van de sites die je target.
Gebruik het goedkoopste proxytype dat je echte slagingsdoel haalt, en houd de belasting op elke site bescheiden.
Gebruik proxies niet om een beperking te omzeilen die de eigenaar van de site heeft ingesteld.
Verzamel geen persoonsgegevens die je niet nodig hebt, ongeacht het adres waar ze vandaan kwamen.

Volgende stappen

Start met gratis proefkrediet, zonder creditcard: maak een account aan en draai de PopularCaptcha-flow tegen een pagina die van jou is. Voor de actuele tarieven zie de prijspagina.