CitevanaBot

So erkennst du ihn

CitevanaBot sendet bei jeder Anfrage diesen User-Agent-Header: CitevanaBot/0.1 (+https://citevana.com/bot)

Der Name für die robots.txt lautet CitevanaBot.

IP-Adresse (aktuell)

CitevanaBot verbindet sich derzeit von dieser IP-Adresse: 187.77.220.186. Er verbindet sich nur über IPv4.

Die Adresse kann sich ändern, wenn wir Server umziehen oder hinzufügen. Diese Seite zeigt immer die aktuelle – prüfe sie, wenn du eine Allowlist überarbeitest.

Was CitevanaBot abruft

CitevanaBot ruft nur URLs ab, die Nutzer an Citevana-Tools senden, dazu eng verwandte öffentliche Dateien derselben Website wie /robots.txt und /llms.txt sowie – für Website-Audits – Websites, deren Inhaber sie in Citevana verifiziert haben. Er durchsucht das Web nicht eigenständig.

robots.txt

Crawling-Funktionen wie Website-Audits beachten die Regeln der robots.txt. Eine einmalige Prüfung einer einzelnen URL wird von einer Person angefordert, ähnlich wie das Öffnen der Seite im Browser. Um die Crawling-Funktionen von CitevanaBot zu sperren, ergänzen Sie Ihre robots.txt um: User-agent: CitevanaBot / Disallow: /

Warum eine Firewall ihn blockieren kann

Bot-Schutzdienste wie der Cloudflare Bot Fight Mode, der „Under Attack“-Modus und Managed Challenges oder andere Web Application Firewalls zeigen CitevanaBot womöglich eine Challenge-Seite statt deiner Seite. CitevanaBot versucht nie, diese Prüfungen zu lösen oder zu umgehen. Das Audit stoppt und sagt dem Website-Inhaber, was zu ändern ist; nicht geprüfte Seiten verbrauchen kein Audit-Kontingent.

So lässt du CitevanaBot in Cloudflare zu

• Öffne im Cloudflare-Dashboard deine Domain und gehe zu Security → Security rules → Create rule → Custom rules (in älteren Dashboards: Security → WAF → Custom rules).
• Verwende diesen Ausdruck: (http.user_agent contains "CitevanaBot"). Für eine strengere Regel, die auch unsere aktuelle IP-Adresse prüft, verwende: (http.user_agent contains "CitevanaBot" and ip.src in {187.77.220.186})
• Wähle die Aktion Skip und hake All remaining custom rules, All rate limiting rules, All Super Bot Fight Mode rules und All managed rules an (und Browser Integrity Check, falls angeboten). Stelle die Regel bereit und schiebe sie an den Anfang.
• Der Bot Fight Mode, die Einstellung im kostenlosen Tarif, lässt sich mit keiner Regel überspringen. Schalte ihn während eines Audits aus oder nutze Super Bot Fight Mode (ab Pro-Tarif), den die Skip-Regel abdeckt.
• Wenn der „Under Attack“-Modus aktiv ist, bekommt jeder Besucher eine Challenge: Schalte ihn während eines Audits aus. Cloudflare Configuration Rules können das Security Level für passende Anfragen ändern; eine Regel für CitevanaBot mit niedrigerem Security Level könnte also ebenfalls funktionieren, das haben wir aber nicht bestätigt.

Andere Firewalls und CDNs

Lege in Akamai, Imperva, Sucuri, DataDome, HUMAN (PerimeterX), AWS WAF oder der Firewall deines Hosting-Anbieters eine Zulassungs- oder Bypass-Regel für Anfragen an, deren User-Agent CitevanaBot enthält. Beschränke sie wenn möglich auf die IP-Adresse oben, denn einen User-Agent kann jeder kopieren.

Grenzen und Schutzmaßnahmen

• Er verbindet sich nur mit öffentlichen Internetadressen, per HTTP oder HTTPS über Standardports.
• Er folgt höchstens 5 Weiterleitungen, bricht nach 8 Sekunden ab und liest höchstens 2 MB pro Antwort.
• Website-Audits senden höchstens 2 Anfragen gleichzeitig, warten zwischen Anfragen, befolgen Crawl-delay (bis 5 Sekunden) und werden langsamer, wenn eine Website „zu viele Anfragen“ meldet.
• Anfragen über die kostenlosen Tools sind begrenzt.
• Er meldet sich nicht an, sendet keine Formulare ab und versucht nicht, CAPTCHAs oder Bot-Schutz zu umgehen.
• Er liest keine Google-Suchergebnisse aus.
• Er behandelt Seiteninhalte nur als Daten, nie als Anweisungen.

Kontakt

Falls CitevanaBot Probleme auf Ihrer Website verursacht, schreiben Sie an hello@citevana.com mit den betroffenen URLs und dem Zeitpunkt; wir kümmern uns darum.

Häufige Fragen