Scarnox · Blog

Is web scraping legal? ภาพรวมทั่วไป

web scraping ถูกกฎหมายหรือไม่? คำตอบที่ตรงไปตรงมาคือขึ้นอยู่กับ ขึ้นอยู่กับว่าคุณและเว็บไซต์ตั้งอยู่ที่ใด ขึ้นอยู่กับชนิดของข้อมูลที่เก็บ ขึ้นอยู่กับวิธีการเก็บ ข้อกำหนดการใช้งานของเว็บไซต์ระบุอะไร และคุณเอาผลลัพธ์ไปทำอะไรต่อ หน้านี้ให้ข้อมูลทั่วไปเกี่ยวกับปัจจัยหลักที่ศาลและหน่วยงานกำกับดูแลมักพิจารณา ไม่ใช่คำปรึกษาทางกฎหมาย สำหรับการตัดสินใจที่สำคัญต่อโปรเจกต์หรือธุรกิจของคุณ ให้ปรึกษาทนายความที่มีคุณสมบัติในเขตอำนาจที่เกี่ยวข้อง

สรุปแบบสั้น

การ scrape หน้าเว็บที่มองเห็นได้สาธารณะไม่ได้ผิดกฎหมายโดยอัตโนมัติ มีปัจจัยหลายอย่างที่เพิ่มความเสี่ยง ได้แก่ การเก็บข้อมูลส่วนบุคคล การฝ่าฝืนข้อห้ามที่ชัดเจน การคัดลอกเนื้อหาที่มีลิขสิทธิ์ในปริมาณมาก การหลบการควบคุมการเข้าถึง และการสร้างความเสียหายให้เว็บไซต์ ยิ่งมีปัจจัยเหล่านี้มากเท่าใด คุณยิ่งต้องระมัดระวังมากขึ้น

ปัจจัยที่ 1: คุณเก็บข้อมูลอะไร

ข้อเท็จจริงและข้อมูลสาธารณะถูกมองต่างจากผลงานสร้างสรรค์และข้อมูลส่วนบุคคล

ปัจจัยที่ 2: ข้อกำหนดการใช้งานและ robots.txt ของเว็บไซต์

เว็บไซต์จำนวนมากเผยแพร่ข้อกำหนดการใช้บริการที่ห้ามการเข้าถึงแบบอัตโนมัติ การละเมิดข้อกำหนดเหล่านั้นจะมีผลทางกฎหมายหรือไม่ ขึ้นอยู่กับเขตอำนาจและข้อเท็จจริง และศาลได้ข้อสรุปต่างกันในแต่ละคดี

ไฟล์ robots.txt เป็นสัญญาณที่เครื่องอ่านได้ว่าเจ้าของต้องการให้ crawler ทำอะไร มันไม่ใช่กฎหมายโดยตัวของมันเอง แต่การเพิกเฉยต่อมาอาจถูกใช้เป็นหลักฐานว่าคุณกระทำอย่างไม่สมเหตุสมผล และโปรเจกต์ที่บริหารดีจะเคารพมันเป็นค่าเริ่มต้น

ปัจจัยที่ 3: วิธีการเก็บข้อมูล

วิธีการสำคัญพอ ๆ กับเป้าหมาย การส่ง request จำนวนพอสมควรที่กระจายเวลาออกไปแตกต่างจากการถล่มเซิร์ฟเวอร์จนบริการของผู้ใช้คนอื่นเสื่อมลง บางเขตอำนาจถือว่าการเข้าถึงระบบคอมพิวเตอร์โดยไม่ได้รับอนุญาตเป็นความผิดทางอาญา การฝ่าการล็อกอิน paywall หรือการควบคุมการเข้าถึงที่เจ้าของตั้งไว้ ทำให้ความเสี่ยงเพิ่มขึ้นมาก และอาจข้ามเส้นทางกฎหมายที่ scraping ทั่วไปไม่ข้าม

ด้วยเหตุนี้ Scarnox จึงถูกสร้างขึ้นเพื่อ automation ที่ถูกต้อง เช่น การทดสอบเว็บไซต์ของคุณเอง งาน accessibility และการเก็บข้อมูลสาธารณะภายใต้กฎของเว็บไซต์ไม่ได้มีไว้สำหรับใช้กับการควบคุมการเข้าถึง และขั้นตอน captcha ในคู่มือเหล่านี้ใช้กับ flow ที่คุณได้รับอนุญาตให้ automate เท่านั้น

ปัจจัยที่ 4: คุณทำอะไรกับข้อมูล

การเก็บข้อมูลเป็นเพียงขั้นตอนหนึ่ง การนำข้อมูลมาเผยแพร่ซ้ำ ขาย หรือใช้แข่งขันอย่างไม่เป็นธรรม อาจก่อให้เกิดประเด็นแยกต่างหาก ได้แก่ ลิขสิทธิ์ สิทธิ์ในฐานข้อมูล กฎการแข่งขันที่ไม่เป็นธรรม และการเรียกร้องตามสัญญา ให้จดบันทึกอย่างชัดเจนว่าข้อมูลมาจากไหน เก็บไปทำไม และจะเก็บไว้นานแค่ไหน

ทำไมคำตอบจึงเปลี่ยนไปในแต่ละที่

กฎหมายในเรื่องนี้ไม่เป็นเอกภาพ บางประเทศมีกฎเฉพาะเรื่องสิทธิ์ในฐานข้อมูล บางประเทศพึ่งพากฎหมายสัญญาทั่วไปและกฎหมายว่าด้วยการใช้คอมพิวเตอร์ในทางมิชอบ และกฎคุ้มครองข้อมูลแตกต่างกันมาก คำตัดสินของศาลเกี่ยวกับการ scraping ก็ต่างกันจากคดีหนึ่งไปอีกคดีหนึ่ง และผลลัพธ์มักขึ้นกับรายละเอียด เช่น ประเภทของข้อมูล การมีการล็อกอินหรือไม่ และผู้ scrape เพิกเฉยต่อคำขอให้หยุดที่ชัดเจนหรือไม่ ด้วยเหตุนี้กฎที่ใช้ได้ในที่หนึ่งอาจใช้ไม่ได้ในอีกที่หนึ่ง ให้มองสรุปทั่วไปใด ๆ รวมถึงฉบับนี้ เป็นจุดเริ่มต้นของการสนทนากับผู้เชี่ยวชาญที่รู้สถานการณ์ของคุณ

checklist เชิงปฏิบัติ

ก่อนเริ่มโปรเจกต์ scraping คุณสามารถไล่ตอบคำถามเหล่านี้กับทีมหรือที่ปรึกษากฎหมายได้:

ถ้าคุณตอบ "ไม่" หลายข้อ ให้หยุดและขอคำแนะนำก่อนดำเนินการต่อ

Scrape อย่างมีความรับผิดชอบ

ขั้นตอนถัดไป

เริ่มต้นด้วยเครดิตทดลองใช้ฟรี ไม่ต้องใช้บัตรเครดิต: สร้างบัญชี เพื่อสำรวจ flow ของ PopularCaptcha บนเว็บไซต์ที่คุณได้รับอนุญาตให้ automate ดูอัตราค่าบริการปัจจุบันได้ที่ หน้าราคา