वेब स्क्रैपिंग कानूनी है? एक सामान्य अवलोकन
वेब स्क्रैपिंग कानूनी है? ईमानदार जवाब है कि यह इस पर निर्भर करता है। यह इस पर निर्भर करता है कि आप और साइट कहां स्थित हैं, आप किस तरह का डेटा इकट्ठा करते हैं, आप उसे कैसे इकट्ठा करते हैं, साइट की शर्तें क्या कहती हैं, और आप नतीजे का क्या करते हैं। यह पेज उन मुख्य कारकों की सामान्य जानकारी देता है जिन्हें अदालतें और नियामक आम तौर पर देखते हैं। यह कानूनी सलाह नहीं है। किसी ऐसे फैसले के लिए जो आपके प्रोजेक्ट या व्यवसाय के लिए मायने रखता है, संबंधित क्षेत्राधिकार के किसी योग्य वकील से बात करें।
संक्षेप में
सार्वजनिक रूप से दिखने वाले पेज को स्क्रैप करना अपने आप में गैरकानूनी नहीं है। कुछ बातें जोखिम बढ़ाती हैं: व्यक्तिगत डेटा इकट्ठा करना, किसी साफ़ मनाही को अनदेखा करना, संरक्षित कंटेंट की बड़ी मात्रा कॉपी करना, एक्सेस कंट्रोल पार करना, और साइट को नुकसान पहुंचाना। जितनी ज़्यादा ये बातें लागू होंगी, उतनी ही सावधानी की ज़रूरत होगी।
कारक 1: आप कौन सा डेटा इकट्ठा करते हैं
तथ्य और सार्वजनिक जानकारी को रचनात्मक कृतियों और व्यक्तिगत डेटा से अलग तरह से देखा जाता है।
- सार्वजनिक रूप से उपलब्ध तथ्य, जैसे प्रकाशित कीमत या स्टॉक स्तर, आम तौर पर कॉपीराइट वाले टेक्स्ट या इमेज की तुलना में ज़्यादा उदारता से देखे जाते हैं।
- कॉपीराइट वाला कंटेंट, जैसे लेख, फ़ोटो और डेटाबेस, सार्वजनिक होने पर भी संरक्षित हो सकता है। उसे पूरा का पूरा दोबारा इस्तेमाल के लिए कॉपी करने में विशिष्ट तथ्य निकालने से ज़्यादा जोखिम है।
- व्यक्तिगत डेटा, यानी वह जानकारी जो किसी व्यक्ति की पहचान करती है, कई जगह डेटा संरक्षण कानूनों के अधीन है। यूरोपीय संघ में GDPR और दूसरी जगहों पर इसी तरह के कानून यह तय करते हैं कि उसे कैसे इकट्ठा, संग्रहित और इस्तेमाल किया जाए, भले ही वह सार्वजनिक हो। पूछें कि क्या आपको व्यक्तिगत डेटा की ज़रूरत है भी।
कारक 2: साइट की शर्तें और robots.txt
कई साइटें अपनी सेवा की शर्तों में स्वचालित एक्सेस को प्रतिबंधित करती हैं। उन शर्तों के उल्लंघन के कानूनी नतीजे क्षेत्राधिकार और तथ्यों पर निर्भर करते हैं, और अलग-अलग मामलों में अदालतें अलग-अलग निष्कर्षों पर पहुंची हैं।
robots.txt फ़ाइल इस बात का मशीन-पठनीय संकेत है कि मालिक क्रॉलर से क्या चाहता है। यह अपने आप में कानून नहीं है, लेकिन इसे नज़रअंदाज़ करना इस बात के सबूत के रूप में इस्तेमाल हो सकता है कि आपने अनुचित तरीके से काम किया, और एक अच्छी तरह चलाया गया प्रोजेक्ट इसका डिफ़ॉल्ट रूप से सम्मान करता है।
कारक 3: आप कैसे इकट्ठा करते हैं
तरीका उतना ही मायने रखता है जितना निशाना। कुछ संख्या में, अंतराल के साथ भेजी गई रिक्वेस्ट एक बात है, और सर्वर पर बाढ़ लाकर दूसरे उपयोगकर्ताओं की सेवा धीमी करना बिल्कुल दूसरी बात। कुछ क्षेत्राधिकार अनधिकृत कंप्यूटर एक्सेस को अपराध मानते हैं। लॉगिन, पेवॉल या मालिक द्वारा लगाए गए एक्सेस कंट्रोल को पार करना जोखिम काफी बढ़ा देता है, और यह वह कानूनी रेखा पार कर सकता है जिसे साधारण स्क्रैपिंग नहीं छूती।
इसी कारण Scarnox वैध स्वचालन के लिए बनाया गया है: अपनी साइटों की टेस्टिंग, एक्सेसिबिलिटी का काम, और साइट के नियमों के भीतर सार्वजनिक डेटा इकट्ठा करना। इसका उद्देश्य एक्सेस कंट्रोल के खिलाफ इस्तेमाल करना नहीं है, और इन गाइड के कैप्चा चरण उन्हीं फ़्लो पर लागू होते हैं जिन्हें स्वचालित करने की आपको अनुमति है।
कारक 4: आप डेटा का क्या करते हैं
डेटा इकट्ठा करना एक चरण है। उसे दोबारा प्रकाशित करना, बेचना, या अनुचित प्रतिस्पर्धा के लिए इस्तेमाल करना अलग मुद्दे उठा सकता है, जिनमें कॉपीराइट, डेटाबेस अधिकार, अनुचित प्रतिस्पर्धा के नियम और अनुबंध के दावे शामिल हैं। लिखकर रखें कि डेटा कहां से आया, आपने उसे क्यों इकट्ठा किया, और आप उसे कितने समय तक रखते हैं।
जवाब हर जगह क्यों बदलता है
इस विषय पर कानून एक जैसा नहीं है। कुछ देशों में डेटाबेस अधिकारों पर खास नियम हैं, कुछ सामान्य अनुबंध और कंप्यूटर-दुरुपयोग कानून पर निर्भर करते हैं, और डेटा संरक्षण के नियम बहुत अलग हैं। स्क्रैपिंग पर अदालती फैसले भी एक मामले से दूसरे मामले में अलग रहे हैं, और नतीजा अक्सर इन बातों पर टिका था: डेटा किस तरह का था, क्या लॉगिन शामिल था, और क्या स्क्रैपर ने रुकने की साफ़ मांग को अनदेखा किया। इसलिए जो नियम एक जगह लागू होता है, वह दूसरी जगह लागू न हो। इस सार सहित कोई भी सामान्य सारांश आपकी स्थिति जानने वाले किसी पेशेवर के साथ बातचीत की शुरुआत भर है।
एक व्यावहारिक चेकलिस्ट
किसी स्क्रैपिंग प्रोजेक्ट से पहले, इन सवालों पर अपनी टीम या वकील के साथ बात कर सकते हैं:
- क्या डेटा सार्वजनिक है, और क्या वह रचनात्मक या व्यक्तिगत नहीं बल्कि तथ्यात्मक है?
- क्या आपने साइट की शर्तें और
robots.txtपढ़ लिए हैं, और क्या आपका उपयोग उनसे मेल खाता है? - क्या आपको व्यक्तिगत डेटा की ज़रूरत है? अगर हां, तो क्या उसका कानूनी आधार है?
- क्या आप साइट द्वारा दी गई पहुंच के भीतर रह रहे हैं, बिना नियंत्रण पार किए?
- क्या आपकी रिक्वेस्ट दर इतनी कम है कि सामान्य उपयोगकर्ता प्रभावित न हों?
- क्या आपके पास ऐसा प्लान है जिससे आप वह डेटा मिटा सकें जिसकी अब ज़रूरत नहीं?
- क्या आप अपना तरीका साइट के मालिक को समझाने में सहज होंगे?
अगर इनमें से कई सवालों का जवाब "नहीं" है, तो रुकें और आगे बढ़ने से पहले सलाह लें।
ज़िम्मेदारी से स्क्रैप करें
- किसी साइट को स्क्रैप करने से पहले
robots.txtऔर शर्तें पढ़ें। - अपनी रिक्वेस्ट दर संयमित रखें, और जो इकट्ठा करें उसे कैश करें।
- जो व्यक्तिगत डेटा आप रखते हैं उसे सीमित रखें, और जो रखें उसे सुरक्षित रखें।
- Scarnox या कोई और टूल ऐसी किसी पाबंदी को पार करने के लिए इस्तेमाल न करें जो मालिक ने लगाई है।
अगले कदम
- बिना ब्लॉक हुए स्क्रैप करें
- Cloudflare से सुरक्षित साइटें स्क्रैप करना
- स्क्रैपर्स के लिए ब्राउज़र फिंगरप्रिंटिंग
- स्क्रैपिंग से प्राइस मॉनिटरिंग
मुफ्त ट्रायल क्रेडिट के साथ शुरू करें, कार्ड की ज़रूरत नहीं: खाता बनाएं और उस साइट पर PopularCaptcha फ्लो आज़माएं जिसे स्वचालित करने की आपको अनुमति है। मौजूदा दरों के लिए प्राइसिंग पेज देखें।