Scarnox · Blog

Web scraping có hợp pháp không? Tổng quan chung

Web scraping có hợp pháp không? Câu trả lời trung thực là tùy trường hợp. Nó phụ thuộc vào nơi bạn và trang web đặt trụ sở, vào loại dữ liệu bạn thu thập, vào cách bạn thu thập, vào điều khoản của trang, và vào việc bạn làm gì với kết quả. Trang này cung cấp thông tin chung về các yếu tố mà tòa án và cơ quan quản lý thường xem xét. Đây không phải tư vấn pháp lý. Với một quyết định quan trọng đối với dự án hoặc doanh nghiệp của bạn, hãy trao đổi với một luật sư có năng lực trong khu vực pháp lý liên quan.

Tóm tắt ngắn

Thu thập các trang công khai không tự động là bất hợp pháp. Một số yếu tố làm tăng rủi ro: thu thập dữ liệu cá nhân, phớt lờ một lệnh cấm rõ ràng, sao chép lượng lớn nội dung được bảo hộ, vượt qua kiểm soát truy cập, và gây hại cho trang. Càng nhiều yếu tố áp dụng, bạn càng phải cẩn trọng.

Yếu tố 1: bạn thu thập dữ liệu gì

Sự kiện và thông tin công khai được xử lý khác với tác phẩm sáng tạo và dữ liệu cá nhân.

Yếu tố 2: điều khoản của trang và robots.txt

Nhiều trang công bố điều khoản dịch vụ cấm truy cập tự động. Việc vi phạm các điều khoản đó có hậu quả pháp lý hay không phụ thuộc vào khu vực pháp lý và sự việc cụ thể, và tòa án đã đưa ra các kết luận khác nhau ở các vụ việc khác nhau.

Tệp robots.txt là tín hiệu máy đọc được về điều chủ sở hữu muốn các crawler làm. Bản thân nó không phải là luật, nhưng phớt lờ nó có thể bị dùng làm bằng chứng rằng bạn đã hành động thiếu hợp lý, và một dự án được vận hành tốt sẽ tôn trọng nó theo mặc định.

Yếu tố 3: bạn thu thập bằng cách nào

Phương pháp quan trọng không kém mục tiêu. Gửi một số lượng request vừa phải, cách quãng, khác hẳn với việc dội server và làm giảm chất lượng dịch vụ của người dùng khác. Một số khu vực pháp lý coi việc truy cập trái phép vào hệ thống máy tính là tội hình sự. Vượt qua đăng nhập, tường thanh toán hoặc một kiểm soát truy cập do chủ sở hữu đặt ra làm rủi ro tăng đáng kể, và có thể vượt qua một ranh giới pháp lý mà scraping thông thường không vượt qua.

Vì lẽ đó, Scarnox được xây dựng cho tự động hóa hợp pháp: kiểm thử trang của chính bạn, công việc trợ năng, và thu thập dữ liệu công khai trong quy định của trang. Nó không dành cho việc dùng chống lại các kiểm soát truy cập, và các bước captcha trong các hướng dẫn này áp dụng cho những luồng mà bạn được phép tự động hóa.

Yếu tố 4: bạn làm gì với dữ liệu

Thu thập dữ liệu chỉ là một bước. Đăng lại, bán, hoặc dùng để cạnh tranh không công bằng có thể phát sinh các vấn đề riêng, bao gồm bản quyền, quyền đối với cơ sở dữ liệu, luật cạnh tranh không lành mạnh và tranh chấp hợp đồng. Hãy giữ một ghi chép rõ ràng về nguồn dữ liệu, lý do bạn thu thập, và thời gian bạn lưu giữ.

Vì sao câu trả lời thay đổi theo từng nơi

Luật về chủ đề này không đồng nhất. Một số quốc gia có quy định cụ thể về quyền đối với cơ sở dữ liệu, số khác dựa vào luật hợp đồng và luật chống lạm dụng máy tính chung, và luật bảo vệ dữ liệu khác nhau rất nhiều. Các phán quyết về scraping cũng khác nhau từ vụ này sang vụ khác, và kết quả thường phụ thuộc vào các chi tiết như loại dữ liệu, việc có đăng nhập hay không, và việc bên thu thập có phớt lờ yêu cầu dừng rõ ràng hay không. Vì vậy, quy tắc áp dụng ở nơi này có thể không áp dụng ở nơi khác. Hãy xem mọi bản tóm tắt chung, kể cả bản này, như điểm khởi đầu cho một cuộc trao đổi với chuyên gia hiểu hoàn cảnh của bạn.

Danh sách kiểm tra thực tế

Trước khi bắt đầu một dự án scraping, bạn có thể đi qua các câu hỏi sau cùng nhóm hoặc luật sư:

Nếu bạn trả lời "không" cho nhiều câu trong số này, hãy dừng lại và nhận tư vấn trước khi tiếp tục.

Scrape có trách nhiệm

Bước tiếp theo

Bắt đầu với tín dụng dùng thử miễn phí, không cần thẻ: tạo tài khoản để khám phá luồng PopularCaptcha trên một trang bạn được phép tự động hóa. Xem giá hiện tại tại trang giá.