网页抓取合法吗？通用概述
网页抓取合法吗？诚实的回答是：视情况而定。它取决于你和网站所在的地点，取决于你收集的是什么数据，取决于你如何收集，取决于网站的条款怎么写，也取决于你如何使用结果。本页概述法院和监管机构通常会关注的主要因素。本文不构成法律意见。对于影响你的项目或业务的决定，请咨询相关司法辖区的合格律师。
简短结论
抓取公开可见的页面本身并不违法。以下几种情况会提高风险：收集个人数据、无视明确的禁止性声明、大量复制受保护的内容、绕过访问控制，以及对网站造成损害。适用的情况越多，你就越需要谨慎。
因素一：你收集什么数据
事实和公开信息，与创作性作品和个人数据的处理方式不同。
- 公开的事实信息，例如已发布的价格或库存数量，通常比受版权保护的文字或图片更宽松。
- 受版权保护的内容，例如文章、照片和数据库，即使是公开的也可能受到保护。整体复制以便再利用，比提取具体事实的风险更高。
- 个人数据，即能够识别某个人的信息，在许多地方都受数据保护法约束。欧盟的 GDPR 以及其他地区的类似法律，对其收集、存储和使用都有义务规定，即便这些数据是公开的。请先问自己，是否真的需要这些个人数据。
因素二：网站条款与 robots.txt
许多网站发布的服务条款禁止自动化访问。违反这些条款是否产生法律后果，取决于司法辖区和具体事实，不同法院在不同案件中也得出过不同的结论。
robots.txt 文件是网站所有者向爬虫表达意愿的机器可读信号。它本身不是法律，但忽视它可能被用作你行为不合理的证据，因此负责任的项目默认应当遵守它。
因素三：你如何收集
收集方式与目标网站同样重要。以适度的频率、间隔地发送请求，与淹没服务器、让其他用户的服务质量下降，是完全不同的两回事。一些司法辖区把未经授权访问计算机系统视为刑事犯罪。绕过登录、付费墙或网站所有者设置的访问控制，会显著提高风险，并可能跨过普通抓取所不会跨越的法律界线。
因此，Scarnox 是为合法的自动化而构建的：测试你自己的网站、无障碍工作，以及在网站规则范围内收集公开数据。它不用于对抗访问控制，本系列指南中的验证码步骤，仅适用于你获准自动化的流程。
因素四：你如何使用数据
收集数据只是第一步。重新发布、出售或用来进行不正当竞争，可能引发单独的问题，包括版权、数据库权利、不正当竞争规则以及合同索赔。请保留清晰的记录，说明数据来自哪里、你为什么收集、保存多久。
为什么答案因地而异
这一话题的法律并不统一。有些国家有关于数据库权利的专门规定，有些国家依赖一般的合同法和计算机滥用法，各地的数据保护规则也大不相同。关于抓取的司法判决，也因案件而异，结果往往取决于数据的类型、是否涉及登录，以及抓取者是否无视了明确的停止要求等细节。因此，适用于一个地方的规则，可能不适用于另一个地方。请把包括本文在内的任何通用概述，当作与熟悉你具体情况的专业人士交流的起点。
实用检查清单
在开始任何抓取项目之前，你可以与团队或法律顾问一起逐一确认以下问题：
- 数据是否公开，并且是事实性的，而非创作性或个人性的？
- 你是否阅读过网站的条款和
robots.txt，你的用途是否符合它们？ - 你是否真的需要个人数据？如果需要，你是否有合法的依据？
- 你是否只在网站提供的访问范围内操作，没有绕过任何控制？
- 你的请求频率是否足够低，不会影响正常用户？
- 你是否有计划，在不再需要数据时将其删除？
- 你是否能坦然地向网站所有者解释你的方法？
如果其中多个问题的回答是“否”，请停下来，先获取专业意见再继续。
负责任地抓取
- 抓取网站之前，先阅读
robots.txt和条款。 - 保持适度的请求频率，并缓存你收集的内容。
- 限制你存储的个人数据，并保护你保留的数据。
- 不要使用 Scarnox 或任何其他工具，去绕过网站所有者设置的限制。
下一步
免费试用额度，无需信用卡：注册账户，在你获准自动化的网站上体验 PopularCaptcha 流程。当前费率请查看定价页面。