Scarnox · Blog

Законен ли парсинг сайтов? Общий обзор

Законен ли парсинг сайтов? Честный ответ: это зависит. Зависит от того, где находитесь вы и сайт, какие данные вы собираете, как их собираете, что написано в условиях сайта и что вы делаете с результатом. Эта страница дает общую информацию о главных факторах, на которые обычно смотрят суды и регуляторы. Это не юридическая консультация. Для решения, которое важно для вашего проекта или бизнеса, проконсультируйтесь с квалифицированным юристом в соответствующей юрисдикции.

Коротко

Парсинг общедоступных страниц автоматически не является незаконным. Несколько факторов повышают риск: сбор персональных данных, игнорирование явного запрета, копирование больших объемов защищенного контента, обход средств контроля доступа и причинение вреда сайту. Чем больше этих факторов, тем осторожнее нужно быть.

Фактор 1: какие данные вы собираете

Факты и открытая информация рассматриваются иначе, чем творческие произведения и персональные данные.

Общедоступные факты, например опубликованная цена или остаток на складе, обычно рассматриваются мягче, чем защищенный авторским правом текст или изображения.
Защищенный контент, например статьи, фотографии и базы данных, может быть защищен, даже если он публичен. Полное копирование для повторного использования несет больше рисков, чем извлечение конкретных фактов.
Персональные данные, то есть сведения, которые идентифицируют человека, во многих местах подпадают под законы о защите данных. Например, GDPR в Европейском союзе и аналогичные законы в других странах накладывают обязанности на то, как они собираются, хранятся и используются, даже если они были публичными. Спросите себя, нужны ли вам персональные данные вообще.

Фактор 2: условия сайта и robots.txt

Многие сайты публикуют условия использования, которые запрещают автоматический доступ. Наступают ли юридические последствия за нарушение этих условий, зависит от юрисдикции и обстоятельств, и суды в разных делах приходили к разным выводам.

Файл robots.txt — машиночитаемый сигнал о том, чего владелец хочет от краулеров. Сам по себе он не является законом, но игнорирование может быть использовано как доказательство того, что вы действовали неразумно, и грамотно организованный проект уважает его по умолчанию.

Фактор 3: как вы собираете данные

Метод важен не меньше цели. Умеренное число запросов с паузами — это совсем не то же самое, что перегрузка сервера и ухудшение работы для других пользователей. Некоторые юрисдикции считают несанкционированный доступ к компьютерным системам уголовным преступлением. Обход входа, платного доступа или средства контроля доступа, которое установил владелец, существенно повышает риск и может пересечь правовую границу, которой не касается обычный парсинг.

По этой причине Scarnox создан для законной автоматизации: тестирования ваших собственных сайтов, работы с доступностью и сбора открытых данных в рамках правил сайта. Он не предназначен для использования против средств контроля доступа, а шаги с капчей в этих руководствах относятся к потокам, которые вам разрешено автоматизировать.

Фактор 4: что вы делаете с данными

Сбор данных — это только один шаг. Повторная публикация, продажа или использование данных для нечестной конкуренции может поднять отдельные вопросы: авторское право, права на базы данных, правила недобросовестной конкуренции и договорные требования. Ведите четкую запись о том, откуда взяты данные, зачем вы их собрали и как долго храните.

Почему ответ меняется от места к месту

Законодательство по этой теме не единообразно. В некоторых странах есть особые правила о правах на базы данных, другие опираются на общее договорное право и законы о компьютерных правонарушениях, а правила защиты данных сильно различаются. Решения судов по парсингу тоже расходились от дела к делу, и результат часто зависел от деталей: вида данных, наличия входа в систему и того, игнорировал ли парсер явное требование остановиться. Поэтому правило, которое работает в одном месте, может не работать в другом. Считайте любую общую сводку, включая эту, отправной точкой для разговора со специалистом, который знает вашу ситуацию.

Практический чек-лист

Прежде чем начать проект парсинга, пройдитесь по этим вопросам вместе с командой или юристом:

Данные общедоступны, и они фактические, а не творческие или персональные?
Вы прочитали условия сайта и robots.txt, и ваше использование им соответствует?
Нужны ли вам персональные данные вообще? Если да, есть ли у вас законное основание?
Вы остаетесь в рамках доступа, который предлагает сайт, без обхода средств контроля?
Достаточно ли низкая частота запросов, чтобы обычные пользователи не пострадали?
Есть ли у вас план удалять данные, которые вам больше не нужны?
Вы готовы объяснить свой метод владельцу сайта?

Если вы отвечаете «нет» на несколько из этих вопросов, остановитесь и получите консультацию, прежде чем продолжать.

Ответственный парсинг

Читайте robots.txt и условия перед парсингом сайта.
Держите умеренную частоту запросов и кешируйте собранное.
Ограничивайте персональные данные, которые храните, и защищайте то, что сохраняете.
Не используйте Scarnox или любой другой инструмент, чтобы обойти ограничение, которое установил владелец.

Следующие шаги

Начните с бесплатного пробного баланса, карта не нужна: создайте аккаунт, чтобы опробовать поток PopularCaptcha на сайте, автоматизация которого вам разрешена. Актуальные тарифы — на странице цен.