मुफ़्त टूल · साइन-अप की ज़रूरत नहीं
कौन-से AI क्रॉलर आपकी वेबसाइट एक्सेस कर सकते हैं?
अपना डोमेन डालें और हम आपकी robots.txt को उसी तरह पढ़ेंगे जैसे क्रॉलर पढ़ते हैं (RFC 9309), फिर दिखाएँगे कि हर बड़े AI यूज़र एजेंट को अनुमति है, वह आंशिक रूप से ब्लॉक है या पूरी तरह ब्लॉक है। आपके पेज उद्धृत हों, इसके लिए AI सर्च और उपयोगकर्ता के अनुरोध पर फ़ेच करने वाले एजेंट को एक्सेस चाहिए; ट्रेनिंग क्रॉलर के बारे में आप अलग से फ़ैसला कर सकते हैं।
पिछली समीक्षा 16 सितंबर 2026
AI क्रॉलर चेकर
यह कैसे काम करता है
हम आपके डोमेन से /robots.txt फ़ेच करते हैं और उसके user-agent ग्रुप, allow और disallow नियम, वाइल्डकार्ड और sitemap लाइनों को पार्स करते हैं।
हर AI यूज़र एजेंट के लिए, आपके होमपेज और कुछ आम पाथ पर, हम सबसे विशिष्ट मेल खाने वाला ग्रुप (या * ग्रुप) और सबसे लंबा मेल खाने वाला नियम लागू करते हैं।
आपको आसान भाषा में सारांश, प्राथमिकता के क्रम में टू-डू सूची, और हर बॉट के ऑपरेटर, उद्देश्य और स्थिति वाली टेबल मिलती है, जो ऑपरेटर के अपने दस्तावेज़ से लिंक होती है।
अक्सर पूछे जाने वाले सवाल
AI क्रॉलर क्या है?
यह किसी AI कंपनी का चलाया गया एक ऑटोमेटेड क्लाइंट है। कुछ मॉडल ट्रेनिंग के लिए कंटेंट इकट्ठा करते हैं (जैसे GPTBot या ClaudeBot), कुछ AI जवाबों के लिए सर्च इंडेक्स बनाते हैं (जैसे OAI-SearchBot, Claude-SearchBot या PerplexityBot), और कुछ सिर्फ़ तब पेज फ़ेच करते हैं जब कोई उपयोगकर्ता कहे (जैसे ChatGPT-User या Claude-User)।
क्या मुझे AI क्रॉलर ब्लॉक करने चाहिए?
यह आपके लक्ष्यों पर निर्भर करता है। अगर आप AI जवाबों में उद्धृत होना चाहते हैं, तो सर्च और उपयोगकर्ता-अनुरोध वाले एजेंट को अनुमति दें। ट्रेनिंग क्रॉलर को ब्लॉक करना एक अलग बिज़नेस फ़ैसला है; OpenAI, Anthropic और Google जैसे ऑपरेटर अलग-अलग टोकन बताते हैं ताकि आप चुन सकें।
सिर्फ़ AI ट्रेनिंग को कैसे ब्लॉक करूँ?
हर ट्रेनिंग टोकन के लिए एक ग्रुप जोड़ें, जैसे "User-agent: GPTBot" और उसके बाद "Disallow: /"। Google के दस्तावेज़ के अनुसार, उसका Google-Extended टोकन Gemini की ट्रेनिंग और ग्राउंडिंग में इस्तेमाल को नियंत्रित करता है और Google Search रैंकिंग पर असर नहीं डालता।
क्या robots.txt गारंटी देती है कि बॉट अंदर नहीं आएगा?
नहीं। robots.txt एक स्वैच्छिक मानक है। यहाँ सूचीबद्ध ऑपरेटर कहते हैं कि वे इसका पालन करते हैं, लेकिन यह एक्सेस कंट्रोल नहीं है; जो कंटेंट निजी रहना चाहिए, उसके लिए ऑथेंटिकेशन या फ़ायरवॉल नियमों का इस्तेमाल करें।
क्या Citevana का AI क्रॉलर चेकर मुफ़्त है?
हाँ। इसे बिना अकाउंट के मुफ़्त इस्तेमाल किया जा सकता है, और दुरुपयोग रोकने के लिए इसकी दैनिक सीमा काफ़ी उदार है।