ウェブスクレイピングは合法か？ 一般的な解説
ウェブスクレイピングは合法か？ 正直に言えば、場合によります。あなたとサイトがどこに所在するか、どの種類のデータを収集するか、どのように収集するか、サイトの利用規約が何と述べているか、そして結果をどう使うかによって変わります。このページでは、裁判所や規制当局が通常注目する主な要素について一般的な情報を提供します。これは法的助言ではありません。プロジェクトやビジネスにとって重要な判断をする場合は、関係する法域の資格を持つ弁護士に相談してください。
要点
公開されているページをスクレイピングすることは、自動的に違法になるわけではありません。ただし、個人データの収集、明示的な禁止の無視、保護されたコンテンツの大量コピー、アクセス制御の回避、サイトへの被害など、いくつかの行為はリスクを高めます。これらが多く当てはまるほど、より慎重になる必要があります。
要素1: どのようなデータを収集するか
公開されている事実と、著作物や個人データは、異なる扱いを受けます。
- 公開されている事実。 公開されている価格や在庫数などは、著作権のあるテキストや画像よりも一般に寛容に扱われます。
- 著作権のあるコンテンツ。 記事、写真、データベースなどは、公開されていても保護される場合があります。特定の事実を抽出するよりも、丸ごとコピーして再利用するほうがリスクは高くなります。
- 個人データ。 個人を特定できる情報は、多くの地域でデータ保護法の対象になります。欧州連合の GDPR や、他の地域の同様の法律は、それが公開されていても、収集、保管、利用の方法に義務を課します。そもそも個人データが必要かどうかを確認してください。
要素2: サイトの利用規約と robots.txt
多くのサイトは、自動アクセスを禁止する利用規約を公開しています。その規約違反が法的な影響を持つかどうかは、法域と事実関係によって異なり、裁判所も事例によって異なる結論に至っています。
robots.txt ファイルは、所有者がクローラーに何を望んでいるかを機械可読な形で示したものです。それ自体は法律ではありませんが、無視すると、あなたが不合理に行動したことの証拠として使われることがあります。よく運営されたプロジェクトは、デフォルトでそれを尊重します。
要素3: どのように収集するか
方法は、対象と同じくらい重要です。適度な数のリクエストを間隔を空けて送ることは、サーバーを溢れさせて他のユーザーのサービスを低下させることとは大きく異なります。法域によっては、コンピュータシステムへの不正アクセスを犯罪として扱います。所有者が設けたログイン、有料の壁、アクセス制御を回避すると、リスクは大幅に高まり、通常のスクレイピングでは越えない法的な一線を越えることがあります。
そのため、Scarnox は正当な自動化、つまり自分のサイトのテスト、アクセシビリティの取り組み、そしてサイトのルール内での公開データの収集のために作られています。アクセス制御に対して使うことは想定しておらず、このガイドのキャプチャのステップは、自動化が許可されているフローにのみ適用されます。
要素4: データをどう使うか
データを収集することは、最初の一歩にすぎません。再公開、販売、不当な競争への利用は、著作権、データベース権、不正競争防止のルール、契約上の請求など、別の問題を引き起こすことがあります。データの出所、収集の目的、保持期間の記録を明確に残してください。
答えが場所によって変わる理由
この分野の法律は一律ではありません。データベース権に特定のルールを持つ国もあれば、一般的な契約法や不正アクセス法に依拠する国もあります。データ保護のルールも大きく異なります。スクレイピングに関する裁判所の判断も事例ごとに異なり、結果はデータの種類、ログインの有無、スクレイパーが停止の要求を無視したかどうかといった詳細で決まることが多いです。そのため、ある場所で当てはまるルールが、別の場所では当てはまらないことがあります。このまとめを含め、一般的な要約は、あなたの状況を知る専門家と話すための出発点として扱ってください。
実務のチェックリスト
スクレイピングのプロジェクトを始める前に、チームや弁護士と一緒に次の質問を検討できます。
- データは公開されているか。また、創作物や個人情報ではなく、事実か。
- サイトの利用規約と
robots.txtを読んだか。あなたの利用はそれに合っているか。 - 個人データが本当に必要か。必要な場合、法的根拠はあるか。
- サイトが提供するアクセスの範囲内にとどまり、制御を回避していないか。
- リクエスト頻度は、通常のユーザーに影響しないほど低いか。
- 不要になったデータを削除する計画はあるか。
- サイトの所有者に自分の方法を説明できるか。
これらのうち複数の質問に「いいえ」と答えるなら、立ち止まり、先へ進む前に助言を受けてください。
責任を持ったスクレイピング
- スクレイピングする前に
robots.txtと利用規約を読んでください。 - リクエスト頻度は控えめに保ち、収集したものはキャッシュしてください。
- 収集する個人データを制限し、保管するデータは保護してください。
- 所有者が設けた制限を回避するために、Scarnox や他のどのツールも使わないでください。
次のステップ
クレジットカード不要、無料トライアルクレジット付きで、自動化が許可されているサイトでの PopularCaptcha のフローを試せます。アカウントを作成してください。現在の料金は料金ページをご覧ください。