Scarnox · Blog

Is webscraping legaal? Een algemeen overzicht

Is webscraping legaal? Het eerlijke antwoord is: dat hangt ervan af. Het hangt af van waar jij en de site gevestigd zijn, van welk soort data je verzamelt, van hoe je die verzamelt, van wat de voorwaarden van de site zeggen, en van wat je met het resultaat doet. Deze pagina geeft algemene informatie over de belangrijkste factoren waar rechters en toezichthouders doorgaans naar kijken. Het is geen juridisch advies. Voor een beslissing die er voor je project of je bedrijf toe doet, praat je met een gekwalificeerde jurist in de relevante jurisdictie.

De korte versie

Het scrapen van openbaar zichtbare pagina's is niet automatisch illegaal. Verschillende zaken verhogen het risico: het verzamelen van persoonsgegevens, het negeren van een duidelijk verbod, het kopiëren van grote hoeveelheden beschermde inhoud, het omzeilen van toegangscontroles, en het toebrengen van schade aan de site. Hoe meer hiervan van toepassing zijn, hoe voorzichtiger je moet zijn.

Factor 1: welke data je verzamelt

Feiten en openbare informatie worden anders behandeld dan creatieve werken en persoonsgegevens.

Openbaar beschikbare feiten, zoals een gepubliceerde prijs of een voorraadstand, worden over het algemeen milder behandeld dan auteursrechtelijk beschermde tekst of afbeeldingen.
Auteursrechtelijk beschermde inhoud, zoals artikelen, foto's en databases, kan beschermd zijn, ook als ze openbaar zijn. Het in zijn geheel kopiëren voor hergebruik brengt meer risico met zich mee dan het onttrekken van specifieke feiten.
Persoonsgegevens, dat wil zeggen informatie die een persoon identificeert, vallen in veel landen onder privacywetgeving. De AVG in de Europese Unie en vergelijkbare wetten elders stellen eisen aan hoe ze worden verzameld, opgeslagen en gebruikt, ook als ze openbaar waren. Vraag jezelf af of je de persoonsgegevens echt nodig hebt.

Factor 2: de voorwaarden van de site en robots.txt

Veel sites publiceren gebruiksvoorwaarden die geautomatiseerde toegang verbieden. Of een overtreding van die voorwaarden juridische gevolgen heeft, hangt af van de jurisdictie en de feiten, en rechters zijn in verschillende zaken tot verschillende conclusies gekomen.

Het bestand robots.txt is een machineleesbaar signaal van wat de eigenaar wil dat crawlers doen. Het is op zichzelf geen wet, maar het negeren ervan kan worden gebruikt als bewijs dat je onredelijk hebt gehandeld, en een goed gerund project respecteert het standaard.

Factor 3: hoe je verzamelt

De methode telt even zwaar als het doelwit. Een beperkt aantal requests, verspreid in de tijd, is iets heel anders dan een server overspoelen en de dienstverlening voor andere gebruikers verslechteren. Sommige rechtsgebieden behandelen ongeoorloofde toegang tot computersystemen als strafbaar feit. Het omzeilen van een login, een betaalmuur of een toegangscontrole die de eigenaar heeft ingesteld, verhoogt het risico aanzienlijk, en kan een juridische grens overschrijden die gewone scraping niet overschrijdt.

Daarom is Scarnox gebouwd voor legitieme automatisering: het testen van je eigen sites, toegankelijkheidswerk, en het verzamelen van openbare data binnen de regels van een site. Het is niet bedoeld voor gebruik tegen toegangscontroles, en de captchastappen in deze gidsen gelden alleen voor flows die je mag automatiseren.

Factor 4: wat je met de data doet

Data verzamelen is één stap. Het opnieuw publiceren, verkopen of gebruiken om oneerlijk te concurreren, kan aparte kwesties opleveren, waaronder auteursrecht, databankrechten, regels tegen oneerlijke concurrentie en contractuele claims. Houd een duidelijk register bij van waar de data vandaan komt, waarom je ze hebt verzameld en hoe lang je ze bewaart.

Waarom het antwoord per plaats verschilt

Het recht op dit gebied is niet overal gelijk. Sommige landen hebben specifieke regels voor databankrechten, andere vertrouwen op algemeen contractenrecht en computermisbruikwetgeving, en privacyregels verschillen sterk. Rechterlijke uitspraken over scraping zijn ook van zaak tot zaak verschillend geweest, en de uitkomst hing vaak af van details zoals het soort data, of er een login bij kwam kijken, en of de scraper een duidelijk verzoek om te stoppen negeerde. Daarom kan een regel die op de ene plek geldt op een andere plek niet gelden. Beschouw elke algemene samenvatting, ook deze, als een startpunt voor een gesprek met een professional die jouw situatie kent.

Een praktische checklist

Voordat je aan een scrapingproject begint, kun je deze vragen met je team of je jurist doornemen:

Zijn de data openbaar, en zijn ze feitelijk in plaats van creatief of persoonlijk?
Heb je de voorwaarden van de site en robots.txt gelezen, en past je gebruik erbij?
Heb je persoonsgegevens nodig? Zo ja, heb je daarvoor een rechtmatige grondslag?
Blijf je binnen de toegang die de site biedt, zonder controles te omzeilen?
Is je aanvraagfrequentie laag genoeg dat gewone gebruikers er niets van merken?
Heb je een plan om data te verwijderen die je niet meer nodig hebt?
Zou je je methode zonder problemen aan de eigenaar van de site kunnen uitleggen?

Als je bij meerdere vragen "nee" antwoordt, stop dan en vraag advies voordat je verdergaat.

Scrape verantwoord

Lees robots.txt en de voorwaarden voordat je een site gaat scrapen.
Houd je aanvraagfrequentie bescheiden, en cache wat je verzamelt.
Beperk de persoonsgegevens die je opslaat, en bescherm wat je bewaart.
Gebruik Scarnox, of een ander hulpmiddel, niet om een beperking te omzeilen die de eigenaar heeft ingesteld.

Volgende stappen

Start met gratis proefkrediet, zonder creditcard: maak een account aan om de PopularCaptcha-flow te verkennen op een site die je mag automatiseren. Voor de actuele tarieven zie de prijspagina.