Scarnox · Blog

Czy web scraping jest legalny? Ogólny przegląd

Czy web scraping jest legalny? Szczera odpowiedź brzmi: to zależy. Zależy od tego, gdzie ty i strona się znajdujecie, jakie dane zbierasz, jak je zbierasz, co mówi regulamin strony i co robisz z wynikiem. Ta strona podaje ogólne informacje o głównych czynnikach, którym przyglądają się sądy i regulatorzy. To nie jest porada prawna. W sprawie, która ma znaczenie dla twojego projektu lub biznesu, porozmawiaj z wykwalifikowanym prawnikiem w odpowiedniej jurysdykcji.

Krótka wersja

Scrapowanie publicznie widocznych stron nie jest automatycznie nielegalne. Kilka rzeczy podnosi ryzyko: zbieranie danych osobowych, ignorowanie wyraźnego zakazu, kopiowanie dużych ilości chronionych treści, obchodzenie zabezpieczeń dostępu i wyrządzanie szkody stronie. Im więcej z tych rzeczy dotyczy twojego projektu, tym ostrożniej musisz działać.

Czynnik 1: jakie dane zbierasz

Fakty i informacje publiczne są traktowane inaczej niż utwory twórcze i dane osobowe.

Publicznie dostępne fakty, na przykład opublikowana cena albo stan magazynowy, są zwykle traktowane łagodniej niż chroniony prawem autorskim tekst lub obrazy.
Treści chronione prawem autorskim, takie jak artykuły, fotografie i bazy danych, mogą być chronione, nawet gdy są publiczne. Kopiowanie ich w całości do ponownego użycia niesie większe ryzyko niż wyodrębnianie konkretnych faktów.
Dane osobowe, czyli informacje identyfikujące osobę, podlegają w wielu miejscach przepisom o ochronie danych. RODO w Unii Europejskiej i podobne przepisy gdzie indziej nakładają obowiązki dotyczące sposobu ich zbierania, przechowywania i użycia, nawet jeśli były publiczne. Zapytaj, czy w ogóle potrzebujesz tych danych osobowych.

Czynnik 2: regulamin strony i robots.txt

Wiele stron publikuje regulaminy zakazujące zautomatyzowanego dostępu. To, czy naruszenie regulaminu ma konsekwencje prawne, zależy od jurysdykcji i okoliczności, a sądy w różnych sprawach dochodziły do różnych wniosków.

Plik robots.txt to maszynowo czytelny sygnał tego, czego właściciel chce od crawlerów. Sam w sobie nie jest prawem, ale jego ignorowanie może zostać wykorzystane jako dowód, że działałeś nierozsądnie, a dobrze prowadzony projekt szanuje go domyślnie.

Czynnik 3: jak zbierasz

Metoda ma tak samo duże znaczenie jak cel. Wysłanie umiarkowanej liczby żądań, rozłożonych w czasie, to coś zupełnie innego niż zalanie serwera i pogorszenie usługi dla innych użytkowników. Niektóre jurysdykcje traktują nieautoryzowany dostęp do systemów komputerowych jako przestępstwo. Obejście logowania, paywalla albo kontroli dostępu ustawionej przez właściciela znacząco podnosi ryzyko i może przekroczyć granicę prawną, której zwykły scraping nie przekracza.

Dlatego Scarnox jest stworzony do uprawnionej automatyzacji: testowania własnych stron, pracy nad dostępnością i zbierania danych publicznych zgodnie z regułami strony. Nie jest przeznaczony do użycia przeciwko kontrolom dostępu, a kroki captcha w tych przewodnikach dotyczą przepływów, które wolno ci automatyzować.

Czynnik 4: co robisz z danymi

Zbieranie danych to jeden krok. Ponowne publikowanie, sprzedawanie lub wykorzystywanie ich do nieuczciwej konkurencji może rodzić osobne problemy, w tym kwestie praw autorskich, praw do baz danych, zasad nieuczciwej konkurencji i roszczeń kontraktowych. Prowadź jasną ewidencję tego, skąd dane pochodzą, dlaczego je zebrałeś i jak długo je przechowujesz.

Dlaczego odpowiedź zmienia się zależnie od miejsca

Prawo w tej dziedzinie nie jest jednolite. Niektóre kraje mają konkretne przepisy o prawach do baz danych, inne opierają się na ogólnym prawie umów i przepisach o nadużyciach komputerowych, a przepisy o ochronie danych różnią się bardzo. Decyzje sądów dotyczące scrapingu też bywały różne w zależności od sprawy, a wynik często zależał od szczegółów: rodzaju danych, tego, czy było logowanie, i tego, czy scraper zignorował wyraźne żądanie zaprzestania. Dlatego reguła obowiązująca w jednym miejscu może nie obowiązywać w innym. Traktuj każde ogólne podsumowanie, także to, jako punkt wyjścia do rozmowy z profesjonalistą, który zna twoją sytuację.

Praktyczna lista kontrolna

Zanim rozpoczniesz projekt scrapingu, możesz przejść przez te pytania z zespołem lub prawnikiem:

Czy dane są publiczne i czy są faktyczne, a nie twórcze lub osobowe?
Czy przeczytałeś regulamin strony i robots.txt i czy twoje użycie jest z nimi zgodne?
Czy w ogóle potrzebujesz danych osobowych? Jeśli tak, czy masz do nich podstawę prawną?
Czy zostajesz w zakresie dostępu, jaki oferuje strona, bez obchodzenia kontroli?
Czy twoje tempo żądań jest na tyle niskie, że zwykli użytkownicy nie są odczuwalnie dotknięci?
Czy masz plan usuwania danych, których już nie potrzebujesz?
Czy czułbyś się komfortowo, wyjaśniając swoją metodę właścicielowi strony?

Jeśli odpowiadasz „nie” na kilka z tych pytań, zatrzymaj się i zasięgnij porady, zanim pójdziesz dalej.

Scrapuj odpowiedzialnie

Przeczytaj robots.txt i regulamin, zanim zescrapujesz stronę.
Utrzymuj umiarkowane tempo żądań i cache'uj to, co zbierasz.
Ogranicz dane osobowe, które przechowujesz, i chroń te, które zachowujesz.
Nie używaj Scarnox ani żadnego innego narzędzia, żeby obejść ograniczenie nałożone przez właściciela.

Dalsze kroki

Zacznij z darmowym kredytem próbnym, bez karty: załóż konto, aby przetestować przepływ PopularCaptcha na stronie, którą wolno ci automatyzować. Aktualne stawki znajdziesz na stronie cennika.