Scarnox · Blog

Резидентские и датацентровые прокси для парсинга

Резидентские и датацентровые прокси оба меняют адрес, с которого ваш трафик выглядит пришедшим, но они не взаимозаменяемы. Датацентровый прокси направляет трафик через серверы, размещенные в дата-центре. Резидентский прокси направляет трафик через адрес, который интернет-провайдер выдал домашнему подключению. Разница проявляется в скорости, в том, насколько сайт доверяет адресу, и в стоимости эксплуатации. Это руководство сравнивает их и дает простой тест, чтобы решить, что нужно вашему парсеру.

Короткий ответ

Используйте датацентровые прокси, когда цель не слишком строго защищается от автоматизации, нужна высокая пропускная способность и вы собираете данные с сайта с щедрой политикой запросов. Используйте резидентские прокси, когда цель оценивает адреса по происхождению, когда нужна конкретная страна или город или когда датацентровые адреса постоянно блокируются. Многие проекты используют оба: датацентровые — для основного объема работы, резидентские — для страниц, которые не принимают ничего другого.

Как они сравниваются

Доверие. Сайты знают, какие диапазоны адресов принадлежат хостинг-провайдерам, и многие по умолчанию оценивают их ниже. Резидентский адрес выглядит как любой домашний посетитель, поэтому он начинает с лучшей оценки. Доверие — главная причина выбрать резидентские.

Скорость. Датацентровые подключения обычно быстрее и стабильнее. Резидентские медленнее и могут обрываться, потому что работают через потребительские сети. При резидентском трафике закладывайте более длинные таймауты и больше повторов.

Гео-таргетинг. Резидентские пулы обычно предлагают более точный таргетинг: по стране, а часто по региону или городу. Это важно, когда сайт показывает разные цены, наличие или контент в зависимости от местоположения. Датацентровые пулы обычно грубее.

Стабильность адреса. Датацентровый адрес обычно сохраняет репутацию во времени, что помогает с закрепленными сессиями. Резидентские адреса меняются чаще, поэтому непрерывность сессии зависит больше от провайдера.

Стоимость запроса. Датацентровые прокси, как правило, дешевле при больших объемах. Резидентский трафик тарифицируется иначе и обычно дороже за то же число запросов. Проверяйте текущие цены провайдера, а не предполагайте, что любая из сторон дешева.

Проведите честный тест

Единственный надежный способ выбрать — протестировать оба варианта на вашей реальной цели. Сделайте тест небольшим и честным:

  1. Выберите десять страниц цели, которые отражают реальную нагрузку.
  2. Запустите один и тот же скрипт через датацентровый пул, затем через резидентский, с одинаковыми паузами и одинаковыми заголовками.
  3. Измерьте долю успешных ответов, медианное время ответа и число блокировок или страниц с проверкой.
  4. Выберите более дешевый пул, который достигает вашей цели по успешности, а не тот, у которого лучшие сырые цифры.
import time
import requests

def measure(urls: list[str], proxy: str) -> dict:
    ok, blocked, times = 0, 0, []
    for url in urls:
        start = time.monotonic()
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=30)
            times.append(time.monotonic() - start)
            if r.status_code in (403, 429, 503):
                blocked += 1
            else:
                ok += 1
        except requests.RequestException:
            blocked += 1
        time.sleep(2)  # будем вежливы в тесте
    return {
        "success_rate": ok / len(urls),
        "blocked": blocked,
        "median_seconds": sorted(times)[len(times) // 2] if times else None,
    }

Запустите его на одном и том же списке URL для каждого типа прокси и сравните результаты рядом. Повторите тест в другое время суток, потому что нагрузка на обе сети меняется.

Когда появляется капча

Блокировки и капчи — разные проблемы. Резидентский прокси может снизить частоту появления капчи, но когда она все же появляется, нужен валидный токен. Живой тип капчи в Scarnox — PopularCaptcha. Руководство по PopularCaptcha на Python показывает, как запрашивать токен и отправлять его. Если сайт привязывает токен к сетевому адресу, используйте один и тот же прокси для страницы и для решения. См. прокси или без прокси при решении капчи, чтобы сделать этот выбор.

Ошибки, которых стоит избегать

Самая частая ошибка — покупать резидентский трафик для задачи, с которой датацентровые адреса прекрасно справляются. Если цель — публичный каталог со щедрой политикой запросов, дополнительные расходы почти ничего не дают. Обратная ошибка — протестировать один раз, в спокойный вечер, и решить, что пул надежен. Нагрузка меняется в течение дня, поэтому сравнивайте в разное время. Третья ошибка — измерять только долю успешных ответов. Пул, который возвращает страницу, выглядящую нормально, но на самом деле являющуюся проверкой или пустым шаблоном, не справился, поэтому проверяйте содержимое ответа, а не только код статуса.

Этика резидентских пулов

Резидентские прокси несут ответственность, которой нет у датацентровых. Адреса принадлежат реальным домохозяйствам. Выбирайте провайдера, который получает адреса с осознанного согласия людей, и спросите, как это делается, прежде чем регистрироваться. Избегайте любого сервиса, который направляет трафик через устройства или программы, установленные без согласия владельца. Это вред для приватности, а также юридический риск для вашего проекта.

Ответственный парсинг

Следующие шаги

Начните с бесплатного пробного баланса, карта не нужна: создайте аккаунт и запустите поток PopularCaptcha на странице, которой вы владеете. Актуальные тарифы — на странице цен.