웹 스크래핑은 합법인가? 일반 개요
웹 스크래핑은 합법인가요? 솔직한 답은 상황에 따라 다르다는 것입니다. 여러분과 사이트가 어디에 있는지, 어떤 종류의 데이터를 수집하는지, 어떻게 수집하는지, 사이트의 약관이 무엇을 말하는지, 그리고 결과로 무엇을 하는지에 따라 달라집니다. 이 페이지는 법원과 규제 기관이 보통 살펴보는 주요 요소에 대한 일반 정보를 제공합니다. 법률 자문이 아닙니다. 프로젝트나 사업에 중요한 결정이라면, 관련 관할 지역의 자격 있는 변호사와 상담하세요.
짧은 답
공개적으로 보이는 페이지를 스크래핑하는 것이 자동으로 불법은 아닙니다. 몇 가지 요소는 위험을 높입니다. 개인 데이터를 수집하는 것, 명확한 금지를 무시하는 것, 보호된 콘텐츠를 대량으로 복사하는 것, 접근 제어를 우회하는 것, 그리고 사이트에 해를 끼치는 것입니다. 이런 요소가 많이 해당될수록 더 신중해야 합니다.
요소 1: 어떤 데이터를 수집하는가
사실과 공개 정보는 창작물이나 개인 데이터와 다르게 취급됩니다.
- 공개된 사실, 예를 들면 게시된 가격이나 재고 수량은 보통 저작권이 있는 텍스트나 이미지보다 더 관대하게 다뤄집니다.
- 저작권이 있는 콘텐츠, 예를 들면 기사, 사진, 데이터베이스는 공개되어 있더라도 보호될 수 있습니다. 특정 사실을 추출하는 것보다, 통째로 복사해 재사용하는 것이 더 큰 위험을 수반합니다.
- 개인 데이터, 즉 특정인을 식별하는 정보는 많은 곳에서 데이터 보호법의 적용을 받습니다. 유럽연합의 GDPR과 다른 지역의 유사한 법은, 공개되어 있더라도 수집, 보관, 사용 방식에 의무를 부과합니다. 그 개인 데이터가 정말 필요한지부터 물어보세요.
요소 2: 사이트의 약관과 robots.txt
많은 사이트가 자동화된 접근을 금지하는 이용 약관을 공개합니다. 그 약관 위반이 법적 결과를 가져오는지는 관할 지역과 사실관계에 따라 다르며, 법원마다 서로 다른 결론에 이르기도 했습니다.
robots.txt 파일은 소유자가 크롤러에게 무엇을 원하는지 보여 주는 기계가 읽을 수 있는 신호입니다. 그 자체로 법은 아니지만, 무시하면 여러분이 부당하게 행동했다는 증거로 쓰일 수 있으며, 잘 운영되는 프로젝트는 기본적으로 이를 존중합니다.
요소 3: 어떻게 수집하는가
방법은 대상만큼 중요합니다. 적당한 수의 요청을 간격을 두고 보내는 것과, 서버에 폭주해서 다른 사용자의 서비스를 떨어뜨리는 것은 아주 다릅니다. 일부 관할 지역은 컴퓨터 시스템에 대한 무단 접근을 범죄로 취급합니다. 소유자가 설정한 로그인, 유료 장벽, 접근 제어를 뚫으면 위험이 크게 높아지며, 일반적인 스크래핑이 넘지 않는 법적 선을 넘을 수 있습니다.
그래서 Scarnox는 적법한 자동화를 위해 만들어졌습니다. 즉 자신의 사이트 테스트, 접근성 작업, 사이트 규칙 안에서의 공개 데이터 수집입니다. 접근 제어에 맞서 쓰도록 의도되지 않았으며, 이 가이드들의 captcha 단계는 자동화가 허용된 흐름에만 적용됩니다.
요소 4: 데이터를 어떻게 사용하는가
데이터를 수집하는 것은 한 단계일 뿐입니다. 다시 게시하거나, 판매하거나, 불공정하게 경쟁하는 데 쓰면, 저작권, 데이터베이스 권리, 부당 경쟁 규칙, 계약상 청구 등 별도의 문제가 생길 수 있습니다. 데이터가 어디서 왔는지, 왜 수집했는지, 얼마나 오래 보관하는지에 대한 명확한 기록을 남기세요.
답이 장소마다 달라지는 이유
이 주제에 대한 법은 통일되어 있지 않습니다. 어떤 나라는 데이터베이스 권리에 관한 구체적인 규칙이 있고, 다른 나라는 일반적인 계약법과 컴퓨터 남용 법에 기댑니다. 데이터 보호 규칙도 크게 다릅니다. 스크래핑에 관한 법원 판단도 사건마다 달랐으며, 결과는 데이터의 종류, 로그인이 관련되었는지, 스크래퍼가 멈추라는 명확한 요구를 무시했는지 같은 세부 사항에 좌우되는 경우가 많았습니다. 그래서 한 곳에 적용되는 규칙이 다른 곳에는 적용되지 않을 수 있습니다. 이 요약을 포함한 모든 일반 요약은, 여러분의 상황을 아는 전문가와 대화하기 위한 출발점으로만 다루세요.
실무 체크리스트
스크래핑 프로젝트를 시작하기 전에, 팀이나 법률 고문과 함께 다음 질문을 점검할 수 있습니다.
- 데이터가 공개되어 있고, 창작물이나 개인 데이터가 아닌 사실인가요?
- 사이트의 약관과
robots.txt를 읽었고, 여러분의 사용이 그에 맞나요? - 개인 데이터가 정말 필요한가요? 필요하다면 적법한 근거가 있나요?
- 사이트가 제공하는 접근 범위 안에 머물고 있으며, 통제를 우회하지 않고 있나요?
- 요청 빈도가 일반 사용자에게 영향을 주지 않을 만큼 낮은가요?
- 더 이상 필요 없는 데이터를 삭제할 계획이 있나요?
- 사이트 소유자에게 여러분의 방법을 설명해도 편안하신가요?
여러 항목에 "아니오"라고 답한다면, 계속하기 전에 멈추고 자문을 구하세요.
책임 있게 스크래핑하기
- 사이트를 스크래핑하기 전에
robots.txt와 약관을 읽으세요. - 요청 빈도를 적당히 유지하고, 수집한 것은 캐시하세요.
- 보관하는 개인 데이터는 최소화하고, 보관하는 데이터는 보호하세요.
- 소유자가 설정한 제한을 뚫기 위해 Scarnox든 다른 도구든 사용하지 마세요.
다음 단계
무료 체험 크레딧으로 카드 없이 시작하세요. 계정을 만들고 자동화가 허용된 사이트에서 PopularCaptcha 흐름을 살펴보세요. 현재 요금은 요금 페이지에서 확인할 수 있습니다.