Scarnox · Blog

Residential- vs. Datacenter-Proxys fürs Scraping

Residential- und Datacenter-Proxys ändern beide die Adresse, von der dein Datenverkehr zu kommen scheint, aber sie sind nicht austauschbar. Ein Datacenter-Proxy leitet über Server, die in einem Rechenzentrum stehen. Ein Residential-Proxy leitet über eine Adresse, die ein Internetanbieter einem Heimanschluss zugewiesen hat. Der Unterschied zeigt sich bei der Geschwindigkeit, darin, wie sehr eine Seite der Adresse vertraut, und darin, was der Betrieb jeweils kostet. Dieser Leitfaden vergleicht beide und gibt dir einen einfachen Test, mit dem du entscheidest, welchen dein Scraper braucht.

Die kurze Antwort

Nimm Datacenter-Proxys, wenn das Ziel Automatisierung nicht streng abwehrt, du hohen Durchsatz brauchst und du von einer Seite mit großzügiger Ratenregel sammelst. Nimm Residential-Proxys, wenn das Ziel Adressen nach ihrer Herkunft bewertet, wenn du ein bestimmtes Land oder eine bestimmte Stadt brauchst oder wenn Datacenter-Adressen dauerhaft blockiert werden. Viele Projekte nutzen beide: Datacenter für den Großteil der Arbeit, Residential für die Seiten, die alles andere ablehnen.

Wie sie sich vergleichen

Vertrauen. Seiten kennen die Adressbereiche von Hosting-Anbietern, und viele bewerten sie standardmäßig niedriger. Eine Residential-Adresse sieht aus wie jeder andere Heimbesucher und startet deshalb mit einem besseren Score. Vertrauen ist der größte Grund, Residential zu wählen.

Geschwindigkeit. Datacenter-Verbindungen sind meist schneller und stabiler. Residential-Verbindungen sind langsamer und können abbrechen, weil sie über Verbrauchernetze laufen. Plane bei Residential-Datenverkehr längere Timeouts und mehr Wiederholungen ein.

Geografisches Targeting. Residential-Pools bieten meist feineres Targeting, nach Land und oft auch nach Region oder Stadt. Das ist wichtig, wenn eine Seite je nach Standort andere Preise, Bestände oder Inhalte zeigt. Datacenter-Pools sind tendenziell gröber.

Stabilität einer Adresse. Eine Datacenter-Adresse behält ihren Ruf meist über die Zeit, was bei stabilen Sitzungen hilft. Residential-Adressen wechseln häufiger, daher hängt die Sitzungskontinuität stärker vom Anbieter ab.

Kosten pro Anfrage. Datacenter-Proxys sind bei hohen Volumina in der Regel günstiger. Residential-Traffic wird anders bepreist und ist für dieselbe Anzahl von Anfragen meist teurer. Prüfe die aktuellen Preise des Anbieters, statt davon auszugehen, dass eine der beiden Seiten günstig ist.

Einen fairen Test durchführen

Die einzige verlässliche Methode zur Auswahl ist, beide gegen dein echtes Ziel zu testen. Halte den Test klein und fair:

  1. Wähle zehn Seiten des Ziels aus, die deine reale Arbeitslast abbilden.
  2. Führe dasselbe Skript einmal über einen Datacenter-Pool und dann über einen Residential-Pool aus, mit gleichem Tempo und gleichen Headern.
  3. Miss die Erfolgsquote, die mediane Antwortzeit und die Anzahl der Sperren oder Captcha-Seiten.
  4. Wähle den günstigeren Pool, der dein Erfolgsziel erreicht, nicht den mit den besten Rohwerten.
import time
import requests

def measure(urls: list[str], proxy: str) -> dict:
    ok, blocked, times = 0, 0, []
    for url in urls:
        start = time.monotonic()
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=30)
            times.append(time.monotonic() - start)
            if r.status_code in (403, 429, 503):
                blocked += 1
            else:
                ok += 1
        except requests.RequestException:
            blocked += 1
        time.sleep(2)  # den Test höflich halten
    return {
        "success_rate": ok / len(urls),
        "blocked": blocked,
        "median_seconds": sorted(times)[len(times) // 2] if times else None,
    }

Führe den Test mit derselben URL-Liste für jeden Proxy-Typ aus und vergleiche die Ergebnisse nebeneinander. Wiederhole den Test zu einer anderen Tageszeit, weil sich die Auslastung beider Netze ändert.

Wenn ein Captcha erscheint

Sperren und Captchas sind unterschiedliche Probleme. Ein Residential-Proxy kann verringern, wie oft ein Captcha erscheint, aber wenn doch eins erscheint, brauchst du trotzdem ein gültiges Token. Der aktuell live verfügbare Captcha-Typ bei Scarnox ist PopularCaptcha. Der PopularCaptcha-Python-Leitfaden zeigt, wie das Token angefordert und übermittelt wird. Wenn die Seite das Token an die Netzwerkadresse bindet, verwende für Seite und Lösung denselben Proxy. Siehe Proxy gegen proxyless beim Captcha-Lösen für diese Wahl.

Fehler, die du vermeiden solltest

Der häufigste Fehler ist, Residential-Traffic für einen Job zu kaufen, den Datacenter-Adressen problemlos erledigen. Wenn das Ziel ein öffentlicher Katalog mit großzügiger Ratenregel ist, bringen die Mehrkosten wenig. Der umgekehrte Fehler ist, einmal an einem ruhigen Nachmittag zu testen und daraus zu schließen, dass ein Pool zuverlässig ist. Die Auslastung ändert sich im Tagesverlauf, also führe deinen Vergleich zu mehr als einer Zeit durch. Ein dritter Fehler ist, nur die Erfolgsquote zu messen. Ein Pool, der eine Seite zurückgibt, die gut aussieht, aber tatsächlich eine Prüfung oder eine leere Vorlage ist, war nicht erfolgreich. Prüfe deshalb auch den Inhalt der Antwort und nicht nur den Statuscode.

Ethik bei Residential-Pools

Residential-Proxys bringen eine Verantwortung mit sich, die Datacenter-Proxys nicht haben. Die Adressen gehören echten Haushalten. Wähle einen Anbieter, der seine Adressen mit dem wissentlichen Einverständnis der betroffenen Personen beschafft, und frage vor der Anmeldung nach, wie er das tut. Meide jeden Dienst, der Datenverkehr über Geräte oder Software leitet, die ohne Zustimmung des Besitzers installiert wurden. Das ist eine Verletzung der Privatsphäre und zugleich ein rechtliches Risiko für dein Projekt.

Verantwortungsvoll scrapen

Nächste Schritte

Starte mit kostenlosem Testguthaben, ohne Karte: Konto erstellen und führe den PopularCaptcha-Ablauf gegen eine Seite aus, die dir gehört. Aktuelle Preise findest du auf der Preisseite.