Scarnox · Blog

스크래핑용 주거용 vs 데이터센터 프록시

주거용 프록시와 데이터센터 프록시는 모두 트래픽이 나오는 것처럼 보이는 주소를 바꾸지만, 서로 바꿔 쓸 수 있는 것은 아닙니다. 데이터센터 프록시는 데이터센터에 호스팅된 서버를 통해 라우팅됩니다. 주거용 프록시는 인터넷 서비스 제공업체가 가정용 연결에 할당한 주소를 통해 라우팅됩니다. 그 차이는 속도, 사이트가 그 주소를 얼마나 신뢰하는지, 그리고 각각을 운영하는 비용에서 드러납니다. 이 가이드는 둘을 비교하고, 스크래퍼에 어떤 것이 필요한지 판단할 수 있는 간단한 테스트를 제공합니다.

짧은 답

대상 사이트가 자동화를 엄격하게 막지 않고, 높은 처리량이 필요하며, 관대한 요청 정책을 가진 사이트에서 수집할 때는 데이터센터 프록시를 쓰세요. 대상 사이트가 출처에 따라 주소를 점수 매기거나, 특정 국가나 도시가 필요하거나, 데이터센터 주소가 계속 차단될 때는 주거용 프록시를 쓰세요. 많은 프로젝트는 둘을 함께 씁니다. 대부분의 작업에는 데이터센터를, 다른 방식은 전부 거부하는 페이지에는 주거용을 씁니다.

두 가지의 비교

신뢰도. 사이트는 어떤 주소 대역이 호스팅 업체에 속하는지 알고 있으며, 많은 곳이 기본값으로 그 주소에 낮은 점수를 줍니다. 주거용 주소는 다른 일반 가정 방문자와 똑같아 보이므로 더 나은 점수에서 시작합니다. 신뢰도는 주거용을 고르는 가장 큰 이유입니다.

속도. 데이터센터 연결은 보통 더 빠르고 안정적입니다. 주거용 연결은 일반 소비자 네트워크를 통해 돌아가므로 느리고 끊어질 수 있습니다. 주거용 트래픽을 쓸 때는 더 긴 타임아웃과 더 많은 재시도를 계획하세요.

지역 지정. 주거용 풀은 보통 국가 단위, 그리고 종종 지역이나 도시 단위까지 더 세밀하게 지정할 수 있습니다. 사이트가 위치에 따라 가격, 재고, 콘텐츠를 다르게 보여 줄 때 중요합니다. 데이터센터 풀은 대개 더 거친 단위입니다.

주소의 안정성. 데이터센터 주소는 보통 시간이 지나도 평판을 유지하므로, 세션 고정에 도움이 됩니다. 주거용 주소는 더 자주 바뀌므로, 세션의 연속성이 제공업체에 더 많이 달려 있습니다.

요청당 비용. 데이터센터 프록시는 대량 처리에서 일반적으로 더 저렴합니다. 주거용 트래픽은 가격 체계가 다르며, 같은 요청 수에 대해 보통 더 비쌉니다. 어느 쪽이든 싸다고 가정하지 말고, 제공업체의 현재 요금을 확인하세요.

공정한 테스트 실행하기

고르는 유일한 믿을 만한 방법은 실제 대상에 대해 둘 다 테스트하는 것입니다. 테스트는 작고 공정하게 유지하세요.

실제 작업량을 대표하는 대상 사이트의 페이지 열 개를 고르세요.
같은 스크립트를 같은 속도 조절과 같은 헤더로, 먼저 데이터센터 풀을 통해, 그다음 주거용 풀을 통해 실행하세요.
성공률, 응답 시간의 중앙값, 차단 또는 챌린지 페이지의 개수를 측정하세요.
원시 수치가 가장 좋은 쪽이 아니라, 성공 목표를 달성하는 더 저렴한 풀을 고르세요.

import time
import requests

def measure(urls: list[str], proxy: str) -> dict:
    ok, blocked, times = 0, 0, []
    for url in urls:
        start = time.monotonic()
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=30)
            times.append(time.monotonic() - start)
            if r.status_code in (403, 429, 503):
                blocked += 1
            else:
                ok += 1
        except requests.RequestException:
            blocked += 1
        time.sleep(2)  # 테스트도 예의 바르게 유지합니다
    return {
        "success_rate": ok / len(urls),
        "blocked": blocked,
        "median_seconds": sorted(times)[len(times) // 2] if times else None,
    }

프록시 유형마다 같은 URL 목록으로 실행하고, 결과를 나란히 비교하세요. 두 네트워크 모두 부하가 시간대에 따라 바뀌므로, 하루의 다른 시간에 테스트를 반복하세요.

captcha가 나타날 때

차단과 captcha는 서로 다른 문제입니다. 주거용 프록시는 captcha가 나타나는 빈도를 줄일 수 있지만, 나타났을 때는 여전히 유효한 토큰이 필요합니다. Scarnox에서 실시간으로 제공되는 captcha 유형은 PopularCaptcha입니다. 토큰을 요청하고 제출하는 방법은 PopularCaptcha Python 가이드에서 보여 줍니다. 사이트가 토큰을 네트워크 주소에 묶어 두었다면, 페이지와 풀이에 같은 프록시를 유지하세요. 그 선택에 대해서는 프록시 vs 프록시리스 captcha를 참고하세요.

피해야 할 실수

가장 흔한 실수는 데이터센터 주소로 완벽하게 처리할 수 있는 작업에 주거용 트래픽을 사는 것입니다. 대상이 관대한 요청 정책을 가진 공개 카탈로그라면, 추가 비용은 얻는 것이 거의 없습니다. 반대 실수는 한가한 오후에 한 번만 테스트하고 풀이 안정적이라고 결론 내리는 것입니다. 부하는 하루 동안 바뀌므로, 비교는 한 번 이상의 시간대에서 실행하세요. 세 번째 실수는 성공률만 측정하는 것입니다. 멀쩡해 보이지만 실제로는 챌린지나 빈 템플릿인 페이지를 돌려주는 풀은 성공한 것이 아닙니다. 상태 코드뿐 아니라 응답의 콘텐츠도 확인하세요.

주거용 풀의 윤리

주거용 프록시에는 데이터센터 프록시에는 없는 책임이 따릅니다. 그 주소는 실제 가정의 것입니다. 관련 당사자의 명확한 동의를 받고 주소를 조달하는 제공업체를 고르고, 가입하기 전에 어떻게 조달하는지 물어보세요. 소유자의 동의 없이 설치된 기기나 소프트웨어를 통해 트래픽을 보내는 서비스는 피하세요. 그것은 개인정보 침해이며, 여러분의 프로젝트에도 법적 위험입니다.

책임 있게 스크래핑하기

대상 사이트의 robots.txt와 이용 약관을 읽으세요.
실제 성공 목표를 충족하는 가장 저렴한 프록시 유형을 쓰고, 어떤 사이트에든 주는 부하는 적당히 유지하세요.
사이트 소유자가 설정한 제한을 우회하는 데 프록시를 쓰지 마세요.
주소의 출처와 상관없이, 필요하지 않은 개인 데이터는 수집하지 마세요.

다음 단계

무료 체험 크레딧으로 카드 없이 시작하세요. 계정을 만들고 직접 소유한 페이지에서 PopularCaptcha 흐름을 실행해 보세요. 현재 요금은 요금 페이지에서 확인할 수 있습니다.