Scarnox · Blog

Чи законний веб-скрапінг? Загальний огляд

Чи законний веб-скрапінг? Чесна відповідь: залежить. Це залежить від того, де знаходитеся ви і сайт, які дані ви збираєте, як ви їх збираєте, що написано в умовах сайту і що ви робите з результатом. Ця сторінка дає загальну інформацію про основні фактори, на які зазвичай дивляться суди та регулятори. Це не юридична консультація. Для рішення, яке важливе для вашого проєкту або бізнесу, зверніться до кваліфікованого юриста у відповідній юрисдикції.

Коротка відповідь

Скрапінг публічно видимих сторінок не є автоматично незаконним. Кілька речей підвищують ризик: збір персональних даних, ігнорування чіткої заборони, копіювання великих обсягів захищеного контенту, обхід контролю доступу і шкода для сайту. Чим більше з цього застосовується, тим обережнішим потрібно бути.

Фактор 1: які дані ви збираєте

Факти та публічна інформація розглядаються інакше, ніж творчі твори та персональні дані.

Публічно доступні факти, наприклад опублікована ціна або залишок на складі, зазвичай розглядаються м'якше, ніж захищений авторським правом текст або зображення.
Захищений авторським правом контент, наприклад статті, фотографії та бази даних, може бути захищений, навіть якщо він публічний. Копіювати його повністю для повторного використання ризикованіше, ніж витягувати конкретні факти.
Персональні дані, тобто інформація, яка ідентифікує особу, підпадають під закони про захист даних у багатьох місцях. GDPR в Європейському Союзі та подібні закони в інших країнах покладають обов'язки щодо того, як їх збирають, зберігають і використовують, навіть якщо вони були публічними. Запитайте себе, чи вам взагалі потрібні персональні дані.

Фактор 2: умови сайту і robots.txt

Багато сайтів публікують умови використання, які забороняють автоматизований доступ. Чи мають порушення цих умов юридичні наслідки, залежить від юрисдикції та обставин, а суди в різних справах доходили різних висновків.

Файл robots.txt - це машиночитаний сигнал того, чого власник хоче від краулерів. Сам по собі він не є законом, але ігнорування може бути використано як доказ того, що ви діяли необачно, і добре організований проєкт поважає його за замовчуванням.

Фактор 3: як ви збираєте

Метод важить так само, як і ціль. Надсилання помірної кількості запитів з паузами сильно відрізняється від перевантаження сервера і погіршення сервісу для інших користувачів. Деякі юрисдикції розглядають несанкціонований доступ до комп'ютерних систем як кримінальне правопорушення. Обхід логіну, платного доступу або контролю доступу, який встановив власник, суттєво підвищує ризик і може перетнути юридичну межу, яку звичайний скрапінг не перетинає.

Тому Scarnox створено для легітимної автоматизації: тестування власних сайтів, роботи з доступністю і збору публічних даних у межах правил сайту. Він не призначений для використання проти контролю доступу, а капчі в цих посібниках стосуються потоків, які ви маєте право автоматизувати.

Фактор 4: що ви робите з даними

Збір даних - це один крок. Повторна публікація, продаж або використання для недобросовісної конкуренції можуть створити окремі питання, зокрема щодо авторських прав, прав на базу даних, правил недобросовісної конкуренції та договірних вимог. Ведіть чіткий облік: звідки дані, навіщо ви їх зібрали і як довго зберігаєте.

Чому відповідь відрізняється залежно від місця

Законодавство з цієї теми неоднорідне. Деякі країни мають окремі правила щодо прав на базу даних, інші покладаються на загальне договірне право і право про комп'ютерні злочини, а правила захисту даних сильно відрізняються. Судові рішення щодо скрапінгу також відрізнялися від справи до справи, і результат часто залежав від деталей: типу даних, того, чи був логін, і того, чи ігнорував скрапер чітку вимогу припинити. Через це правило, що діє в одному місці, може не діяти в іншому. Сприймайте будь-який загальний огляд, включно з цим, як відправну точку для розмови з фахівцем, який знає вашу ситуацію.

Практичний чеклист

Перш ніж почати проєкт скрапінгу, пройдіться по цих питаннях разом із командою або юристом:

Чи дані публічні, і чи вони фактичні, а не творчі чи персональні?
Чи ви прочитали умови сайту і robots.txt, і чи відповідає ваше використання їм?
Чи вам взагалі потрібні персональні дані? Якщо так, чи є у вас законна підстава для них?
Чи ви залишаєтеся в межах доступу, який надає сайт, без обходу контролів?
Чи достатньо низька частота ваших запитів, щоб звичайні користувачі не відчули змін?
Чи є у вас план видалення даних, які вам більше не потрібні?
Чи були б ви спокійні, пояснивши свій метод власнику сайту?

Якщо ви відповідаєте "ні" на кілька з них, зупиніться і отримайте консультацію, перш ніж продовжувати.

Скрапінг відповідально

Прочитайте robots.txt і умови перед тим, як скрапити сайт.
Тримайте частоту запитів помірною і кешуйте зібране.
Обмежуйте персональні дані, які зберігаєте, і захищайте те, що зберігаєте.
Не використовуйте Scarnox або будь-який інший інструмент, щоб обійти обмеження, встановлене власником.

Що далі

Почніть з безкоштовного пробного кредиту, картка не потрібна: створіть обліковий запис, щоб дослідити потік PopularCaptcha на сайті, який ви маєте право автоматизувати. Актуальні тарифи дивіться на сторінці тарифів.