Scarnox · Blog

Apakah web scraping legal? Gambaran umum

Apakah web scraping legal? Jawaban jujurnya: tergantung. Itu bergantung pada di mana Anda dan situs tersebut berada, jenis data yang Anda kumpulkan, cara Anda mengumpulkannya, apa isi ketentuan situs, dan apa yang Anda lakukan dengan hasilnya. Halaman ini memberikan informasi umum tentang faktor-faktor utama yang biasanya dilihat pengadilan dan regulator. Ini bukan nasihat hukum. Untuk keputusan yang penting bagi proyek atau bisnis Anda, bicaralah dengan pengacara yang berkualifikasi di yurisdiksi yang relevan.

Ringkasnya

Scraping halaman yang terlihat secara publik tidak otomatis ilegal. Beberapa hal meningkatkan risikonya: mengumpulkan data pribadi, mengabaikan larangan yang jelas, menyalin konten berhak cipta dalam jumlah besar, melewati kontrol akses, dan menimbulkan kerugian bagi situs. Semakin banyak hal ini berlaku, semakin hati-hati Anda harus bertindak.

Faktor 1: data apa yang Anda kumpulkan

Fakta dan informasi publik diperlakukan berbeda dari karya kreatif dan data pribadi.

Fakta publik, seperti harga yang dipublikasikan atau jumlah stok, umumnya diperlakukan lebih longgar daripada teks atau gambar yang berhak cipta.
Konten berhak cipta, seperti artikel, foto, dan basis data, bisa dilindungi meskipun bersifat publik. Menyalin seluruhnya untuk dipakai ulang membawa risiko lebih besar daripada mengekstrak fakta tertentu.
Data pribadi, yaitu informasi yang mengidentifikasi seseorang, tunduk pada undang-undang perlindungan data di banyak tempat. GDPR di Uni Eropa dan undang-undang serupa di tempat lain menetapkan kewajiban tentang cara data itu dikumpulkan, disimpan, dan digunakan, bahkan ketika data itu bersifat publik. Tanyakan apakah Anda memang membutuhkan data pribadi tersebut.

Faktor 2: ketentuan situs dan robots.txt

Banyak situs mempublikasikan ketentuan layanan yang melarang akses otomatis. Apakah pelanggaran terhadap ketentuan tersebut memiliki konsekuensi hukum bergantung pada yurisdiksi dan fakta kasusnya, dan pengadilan telah mencapai kesimpulan yang berbeda dalam kasus yang berbeda.

File robots.txt adalah sinyal yang bisa dibaca mesin tentang apa yang diinginkan pemilik situs dari crawler. Dengan sendirinya ia bukan hukum, tetapi mengabaikannya bisa dijadikan bukti bahwa Anda bertindak tidak wajar, dan proyek yang dikelola dengan baik menghormatinya secara default.

Faktor 3: cara Anda mengumpulkan

Metodenya sama pentingnya dengan targetnya. Mengirim sejumlah request yang wajar, dengan jeda, sangat berbeda dengan membanjiri server dan menurunkan layanan bagi pengguna lain. Beberapa yurisdiksi memperlakukan akses tidak sah ke sistem komputer sebagai tindak pidana. Melewati login, paywall, atau kontrol akses yang dipasang oleh pemilik secara signifikan meningkatkan risiko, dan dapat melintasi batas hukum yang tidak dilintasi oleh scraping biasa.

Karena itu, Scarnox dibangun untuk otomatisasi yang sah: menguji situs Anda sendiri, pekerjaan aksesibilitas, dan pengumpulan data publik dalam aturan situs. Scarnox tidak ditujukan untuk digunakan melawan kontrol akses, dan langkah captcha dalam panduan ini berlaku untuk alur yang Anda boleh otomatisasi.

Faktor 4: apa yang Anda lakukan dengan datanya

Mengumpulkan data hanyalah satu langkah. Menerbitkan ulang, menjual, atau menggunakannya untuk bersaing secara tidak adil bisa menimbulkan masalah tersendiri, termasuk hak cipta, hak atas basis data, aturan persaingan usaha tidak sehat, dan klaim kontrak. Simpan catatan yang jelas tentang dari mana data berasal, mengapa Anda mengumpulkannya, dan berapa lama Anda menyimpannya.

Mengapa jawabannya berbeda dari satu tempat ke tempat lain

Hukum tentang topik ini tidak seragam. Beberapa negara memiliki aturan khusus tentang hak atas basis data, sementara yang lain mengandalkan hukum kontrak umum dan hukum penyalahgunaan komputer, dan aturan perlindungan data sangat berbeda di setiap tempat. Putusan pengadilan tentang scraping juga berbeda dari satu kasus ke kasus berikutnya, dan hasilnya sering kali bergantung pada detail seperti jenis data, apakah ada login yang terlibat, dan apakah scraper mengabaikan permintaan yang jelas untuk berhenti. Karena itu, aturan yang berlaku di satu tempat mungkin tidak berlaku di tempat lain. Perlakukan ringkasan umum apa pun, termasuk yang ini, sebagai titik awal untuk percakapan dengan profesional yang memahami situasi Anda.

Daftar periksa praktis

Sebelum Anda memulai proyek scraping, Anda bisa membahas pertanyaan-pertanyaan ini bersama tim atau penasihat hukum Anda:

Apakah datanya publik, dan apakah itu bersifat faktual, bukan kreatif atau pribadi?
Sudahkah Anda membaca ketentuan dan robots.txt situs, dan apakah penggunaan Anda sesuai dengannya?
Apakah Anda membutuhkan data pribadi sama sekali? Jika ya, apakah Anda punya dasar hukum yang sah untuk itu?
Apakah Anda tetap berada dalam akses yang ditawarkan situs, tanpa melewati kontrol?
Apakah laju request Anda cukup rendah sehingga pengguna normal tidak terpengaruh?
Apakah Anda punya rencana untuk menghapus data yang tidak lagi Anda perlukan?
Apakah Anda nyaman menjelaskan metode Anda kepada pemilik situs?

Jika Anda menjawab "tidak" pada beberapa pertanyaan ini, berhenti dan dapatkan nasihat sebelum melanjutkan.

Scraping secara bertanggung jawab

Baca robots.txt dan ketentuan sebelum Anda melakukan scraping pada situs.
Jaga laju request tetap wajar, dan simpan cache untuk data yang Anda kumpulkan.
Batasi data pribadi yang Anda simpan, dan lindungi apa pun yang Anda simpan.
Jangan menggunakan Scarnox, atau alat lain apa pun, untuk melewati pembatasan yang dipasang oleh pemilik.

Langkah selanjutnya

Mulai dengan kredit uji coba gratis, tanpa kartu: buat akun untuk mencoba alur PopularCaptcha pada situs yang boleh Anda otomatisasi. Untuk tarif terbaru, lihat halaman harga.