CitevanaBot

Nasıl tanınır

CitevanaBot her istekte şu User-Agent başlığını gönderir: CitevanaBot/0.1 (+https://citevana.com/bot)

robots.txt dosyasında kullanılacak ad CitevanaBot'tur.

IP adresi (güncel)

CitevanaBot şu anda şu IP adresinden bağlanır: 187.77.220.186. Yalnızca IPv4 üzerinden bağlanır.

Sunucuları taşırsak veya eklersek adres değişebilir. Bu sayfa her zaman güncel adresi listeler; izin listenizi gözden geçirirken buraya bakın.

CitevanaBot neleri getirir

CitevanaBot yalnızca kullanıcıların Citevana araçlarına gönderdiği URL'leri, aynı sitedeki /robots.txt ve /llms.txt gibi yakından ilişkili herkese açık dosyaları ve site denetimleri için sahiplerinin Citevana içinde doğruladığı web sitelerini getirir. Web'de kendi başına gezinmez.

robots.txt

Site denetimleri gibi tarama özellikleri robots.txt kurallarına uyar. Tek bir URL'nin tek seferlik kontrolü, tıpkı sayfayı bir tarayıcıda açmak gibi bir kişi tarafından istenir. CitevanaBot'un tarama özelliklerini engellemek için robots.txt dosyanıza şunu ekleyin: User-agent: CitevanaBot / Disallow: /

Bir güvenlik duvarı neden engelleyebilir

Cloudflare Bot Fight Mode, “Under Attack” modu ve yönetilen challenge'lar gibi bot koruma hizmetleri ya da diğer web uygulaması güvenlik duvarları, CitevanaBot'a sayfanız yerine bir challenge sayfası gösterebilir. CitevanaBot bu kontrolleri çözmeye veya aşmaya asla çalışmaz. Denetim durur ve site sahibine neyi değiştirmesi gerektiğini söyler; kontrol edilmeyen sayfalar denetim kotasından düşmez.

Cloudflare'de CitevanaBot'a nasıl izin verilir

• Cloudflare panelinde alan adınızı açın ve Security → Security rules → Create rule → Custom rules bölümüne gidin (eski panellerde: Security → WAF → Custom rules).
• Şu ifadeyi kullanın: (http.user_agent contains "CitevanaBot"). Güncel IP adresimizi de kontrol eden daha sıkı bir kural için şunu kullanın: (http.user_agent contains "CitevanaBot" and ip.src in {187.77.220.186})
• Skip eylemini seçin ve All remaining custom rules, All rate limiting rules, All Super Bot Fight Mode rules ve All managed rules seçeneklerini (sunuluyorsa Browser Integrity Check'i de) işaretleyin. Kuralı yayınlayıp en üste taşıyın.
• Ücretsiz plan ayarı olan Bot Fight Mode hiçbir kuralla atlanamaz. Denetim sürerken kapatın veya Skip kuralının kapsadığı Super Bot Fight Mode'u (Pro ve üstü planlar) kullanın.
• “Under Attack” modu açıksa her ziyaretçi bir challenge görür: denetim sürerken kapatın. Cloudflare Configuration Rules eşleşen isteklerin Security Level değerini değiştirebildiği için CitevanaBot'a daha düşük Security Level veren bir kural da işe yarayabilir, ancak bunu doğrulamadık.

Diğer güvenlik duvarları ve CDN'ler

Akamai, Imperva, Sucuri, DataDome, HUMAN (PerimeterX), AWS WAF veya barındırma sağlayıcınızın güvenlik duvarında, User-Agent değeri CitevanaBot içeren istekler için bir izin veya atlama kuralı ekleyin. Kullanıcı aracısını herkes kopyalayabildiği için mümkünse kuralı yukarıdaki IP adresiyle sınırlayın.

Sınırlar ve güvenlik önlemleri

• Yalnızca herkese açık internet adreslerine, standart portlarda HTTP veya HTTPS üzerinden bağlanır.
• En fazla 5 yönlendirmeyi izler, 8 saniye sonra durur ve yanıt başına en fazla 2 MB okur.
• Site denetimleri aynı anda en fazla 2 istek gönderir, istekler arasında bekler, Crawl-delay değerine (5 saniyeye kadar) uyar ve bir site “çok fazla istek” yanıtı verdiğinde yavaşlar.
• Ücretsiz araç istekleri hız sınırına tabidir.
• Oturum açmaz, form göndermez ve CAPTCHA'ları veya bot korumalarını aşmaya çalışmaz.
• Google arama sonuçlarını kazımaz.
• Sayfa içeriğini asla talimat olarak değil, yalnızca veri olarak ele alır.

İletişim

CitevanaBot siteniz için bir sorun yaratırsa, etkilenen URL'leri ve zamanı belirterek hello@citevana.com adresine e-posta gönderin; konuyu inceleyeceğiz.

Sık sorulan sorular