CitevanaBot

इसे कैसे पहचानें

CitevanaBot हर अनुरोध में यह User-Agent हेडर भेजता है: CitevanaBot/0.1 (+https://citevana.com/bot)

robots.txt में इस्तेमाल होने वाला नाम CitevanaBot है।

IP पता (मौजूदा)

CitevanaBot अभी इस IP पते से जुड़ता है: 187.77.220.186। यह सिर्फ़ IPv4 से जुड़ता है।

सर्वर बदलने या जोड़ने पर पता बदल सकता है। इस पेज पर हमेशा मौजूदा पता रहता है, इसलिए अनुमति-सूची की समीक्षा करते समय इसे देखें।

CitevanaBot क्या फ़ेच करता है

CitevanaBot केवल वे URL लाता है जिन्हें लोग Citevana टूल में सबमिट करते हैं, साथ ही उसी साइट की करीबी सार्वजनिक फ़ाइलें, जैसे /robots.txt और /llms.txt, और साइट ऑडिट के लिए वे वेबसाइटें जिनके मालिकों ने उन्हें Citevana में सत्यापित किया है। यह अपने आप वेब ब्राउज़ नहीं करता।

robots.txt

साइट ऑडिट जैसे क्रॉलिंग फ़ीचर robots.txt नियमों का पालन करते हैं। किसी एक URL की एक बार की जाँच किसी व्यक्ति के अनुरोध पर होती है, ठीक वैसे ही जैसे ब्राउज़र में पेज खोलना। CitevanaBot के क्रॉलिंग फ़ीचर ब्लॉक करने के लिए, अपनी robots.txt में यह जोड़ें: User-agent: CitevanaBot / Disallow: /

फ़ायरवॉल इसे क्यों रोक सकता है

Cloudflare Bot Fight Mode, “Under Attack” मोड और मैनेज्ड चैलेंज जैसी बॉट-सुरक्षा सेवाएँ, या दूसरे वेब ऐप्लिकेशन फ़ायरवॉल, CitevanaBot को आपके पेज की जगह चैलेंज पेज दिखा सकते हैं। CitevanaBot इन जाँचों को हल करने या उनसे बचने की कोशिश कभी नहीं करता। ऑडिट रुक जाता है और साइट मालिक को बताता है कि क्या बदलना है, और जो पेज जाँचे नहीं गए उनसे ऑडिट कोटा खर्च नहीं होता।

Cloudflare में CitevanaBot को अनुमति कैसे दें

• Cloudflare डैशबोर्ड में अपना डोमेन खोलें और Security → Security rules → Create rule → Custom rules पर जाएँ (पुराने डैशबोर्ड में: Security → WAF → Custom rules)।
• यह एक्सप्रेशन इस्तेमाल करें: (http.user_agent contains "CitevanaBot")। हमारा मौजूदा IP पता भी जाँचने वाले ज़्यादा सख़्त नियम के लिए यह इस्तेमाल करें: (http.user_agent contains "CitevanaBot" and ip.src in {187.77.220.186})
• Skip ऐक्शन चुनें और All remaining custom rules, All rate limiting rules, All Super Bot Fight Mode rules और All managed rules चुनें (अगर दिखे तो Browser Integrity Check भी)। नियम डिप्लॉय करें और उसे सबसे ऊपर रखें।
• मुफ़्त प्लान की सेटिंग Bot Fight Mode को कोई भी नियम नहीं छोड़ सकता। ऑडिट चलने तक इसे बंद रखें, या Super Bot Fight Mode (Pro और ऊपर के प्लान) इस्तेमाल करें, जिस पर Skip नियम लागू होता है।
• अगर “Under Attack” मोड चालू है, तो हर विज़िटर को चैलेंज मिलता है: ऑडिट चलने तक इसे बंद रखें। Cloudflare के Configuration Rules मेल खाने वाले अनुरोधों का Security Level बदल सकते हैं, इसलिए CitevanaBot के लिए कम Security Level वाला नियम भी काम कर सकता है, पर हमने इसकी पुष्टि नहीं की है।

दूसरे फ़ायरवॉल और CDN

Akamai, Imperva, Sucuri, DataDome, HUMAN (PerimeterX), AWS WAF या अपने होस्टिंग प्रदाता के फ़ायरवॉल में उन अनुरोधों के लिए अनुमति या बायपास नियम जोड़ें जिनके User-Agent में CitevanaBot हो। हो सके तो नियम को ऊपर दिए IP पते तक सीमित रखें, क्योंकि यूज़र एजेंट की नकल कोई भी कर सकता है।

सीमाएँ और सुरक्षा उपाय

• यह सिर्फ़ सार्वजनिक इंटरनेट पतों से, स्टैंडर्ड पोर्ट पर HTTP या HTTPS के ज़रिए जुड़ता है।
• यह अधिकतम 5 रीडायरेक्ट फ़ॉलो करता है, 8 सेकंड के बाद रुक जाता है, और हर रिस्पॉन्स में अधिकतम 2 MB पढ़ता है।
• साइट ऑडिट एक समय में अधिकतम 2 अनुरोध भेजते हैं, अनुरोधों के बीच रुकते हैं, Crawl-delay (5 सेकंड तक) का पालन करते हैं और साइट के “बहुत ज़्यादा अनुरोध” कहने पर धीमे हो जाते हैं।
• मुफ़्त टूल के अनुरोधों पर रेट लिमिट लागू है।
• यह लॉग इन नहीं करता, फ़ॉर्म सबमिट नहीं करता, और CAPTCHA या बॉट सुरक्षा से बचने की कोशिश नहीं करता।
• यह Google सर्च नतीजों को स्क्रेप नहीं करता।
• यह पेज के कंटेंट को सिर्फ़ डेटा मानता है, कभी भी निर्देश नहीं।

संपर्क

अगर CitevanaBot की वजह से आपकी साइट पर कोई समस्या होती है, तो प्रभावित URL और समय के साथ hello@citevana.com पर ईमेल करें, और हम इसकी जाँच करेंगे।

अक्सर पूछे जाने वाले सवाल