Scarnox · Blog

Proxies residenciais vs datacenter para web scraping

Proxies residenciais e de datacenter mudam o endereço do qual o seu tráfego parece sair, mas não são intercambiáveis. Um proxy de datacenter roteia por servidores hospedados em um data center. Um proxy residencial roteia por um endereço que um provedor de internet atribuiu a uma conexão doméstica. A diferença aparece na velocidade, no grau de confiança que um site deposita no endereço e no custo de operação. Este guia compara os dois e oferece um teste simples para decidir qual deles o seu scraper precisa.

A resposta curta

Use proxies de datacenter quando o alvo não se protege de forma rigorosa contra automação, você precisa de alta vazão e está coletando de um site com uma política de taxas generosa. Use proxies residenciais quando o alvo pontua endereços pela origem, quando você precisa de um país ou uma cidade específicos, ou quando endereços de datacenter continuam sendo bloqueados. Muitos projetos usam os dois: datacenter para a maior parte do trabalho, residencial para as páginas que recusam qualquer outra coisa.

Como eles se comparam

Confiança. Os sites sabem quais faixas de endereços pertencem a provedores de hospedagem, e muitos as pontuam mais baixo por padrão. Um endereço residencial parece qualquer outro visitante doméstico, então começa com uma pontuação melhor. A confiança é o maior motivo para escolher o residencial.

Velocidade. Conexões de datacenter costumam ser mais rápidas e estáveis. Conexões residenciais são mais lentas e podem cair, porque rodam em redes de consumo. Planeje timeouts mais longos e mais novas tentativas com tráfego residencial.

Segmentação geográfica. Os pools residenciais costumam oferecer uma segmentação mais fina, por país e, muitas vezes, por região ou cidade. Isso importa quando um site mostra preços, estoque ou conteúdo diferentes conforme a localização. Os pools de datacenter tendem a ser mais grosseiros.

Estabilidade de um endereço. Um endereço de datacenter geralmente mantém a reputação ao longo do tempo, o que ajuda com sessões fixas. Endereços residenciais mudam com mais frequência, então a continuidade da sessão depende mais do provedor.

Custo por requisição. Proxies de datacenter são geralmente mais baratos para volumes altos. O tráfego residencial tem outra precificação e costuma ser mais caro para o mesmo número de requisições. Confira a precificação atual do provedor, em vez de presumir que um dos lados é barato.

Faça um teste justo

A única forma confiável de escolher é testar os dois contra o seu alvo real. Mantenha o teste pequeno e justo:

Escolha dez páginas do alvo que representem a carga de trabalho real.
Rode o mesmo script por um pool de datacenter e depois por um pool residencial, com o mesmo ritmo e os mesmos cabeçalhos.
Meça a taxa de sucesso, o tempo de resposta mediano e o número de bloqueios ou páginas de desafio.
Escolha o pool mais barato que atinja a sua meta de sucesso, e não o que tem os melhores números brutos.

import time
import requests

def measure(urls: list[str], proxy: str) -> dict:
    ok, blocked, times = 0, 0, []
    for url in urls:
        start = time.monotonic()
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=30)
            times.append(time.monotonic() - start)
            if r.status_code in (403, 429, 503):
                blocked += 1
            else:
                ok += 1
        except requests.RequestException:
            blocked += 1
        time.sleep(2)  # mantenha o teste respeitoso
    return {
        "success_rate": ok / len(urls),
        "blocked": blocked,
        "median_seconds": sorted(times)[len(times) // 2] if times else None,
    }

Rode o teste na mesma lista de URLs para cada tipo de proxy e compare os resultados lado a lado. Repita o teste em outro horário do dia, já que a carga das duas redes muda.

Quando um captcha aparece

Bloqueios e captchas são problemas diferentes. Um proxy residencial pode reduzir a frequência com que um captcha aparece, mas, quando ele aparece, você ainda precisa de um token válido. O tipo de captcha ativo na Scarnox é o PopularCaptcha. O guia de PopularCaptcha em Python mostra como o token é solicitado e enviado. Se o site vincula o token ao endereço de rede, mantenha o mesmo proxy para a página e para a resolução. Veja proxy versus resolução sem proxy para essa escolha.

Erros a evitar

O erro mais comum é comprar tráfego residencial para um trabalho que endereços de datacenter atendem perfeitamente. Se o alvo é um catálogo público com uma política de taxas generosa, o custo extra compra pouco. O erro inverso é testar uma única vez, em uma tarde tranquila, e concluir que um pool é confiável. A carga muda ao longo do dia, então rode a sua comparação em mais de um horário. Um terceiro erro é medir apenas a taxa de sucesso. Um pool que devolve uma página que parece boa, mas que na verdade é um desafio ou um modelo vazio, não teve sucesso, então confira o conteúdo da resposta além do código de status.

Ética dos pools residenciais

Proxies residenciais carregam uma responsabilidade que os de datacenter não têm. Os endereços pertencem a residências reais. Escolha um provedor que obtenha os seus endereços com o consentimento consciente das pessoas envolvidas, e pergunte como ele faz isso antes de contratar. Evite qualquer serviço que roteie tráfego por dispositivos ou softwares instalados sem a concordância do dono. Isso é um dano à privacidade, e também um risco legal para o seu projeto.

Faça scraping com responsabilidade

Leia o robots.txt e os termos dos sites que você alveja.
Use o tipo de proxy mais barato que atinja a sua meta real de sucesso, e mantenha a carga sobre qualquer site moderada.
Não use proxies para contornar uma restrição que o dono do site definiu.
Não colete dados pessoais de que você não precisa, independentemente do endereço de onde vieram.

Próximos passos

Comece com crédito de teste grátis, sem cartão: crie uma conta e execute o fluxo de PopularCaptcha em uma página sua. Para as tarifas atuais, veja a página de preços.