Citevana

Kostenloses Tool · ohne Anmeldung

Welche KI-Crawler dürfen auf Ihre Website zugreifen?

Geben Sie Ihre Domain ein. Wir lesen Ihre robots.txt so, wie Crawler es tun (RFC 9309), und zeigen, ob jeder wichtige KI-User-Agent zugelassen, teilweise gesperrt oder gesperrt ist. KI-Such-Agents und Agents, die im Auftrag von Nutzern abrufen, brauchen Zugriff, damit Ihre Seiten zitiert werden; ob Sie Trainings-Crawler zulassen, ist eine separate Entscheidung.

Zuletzt geprüft am 16. September 2026

KI-Crawler-Check

Nur öffentliche Websites. Wir rufen die Seite einmal als CitevanaBot ab und speichern ihren Inhalt nicht.

So funktioniert es

  1. Wir rufen /robots.txt Ihrer Domain ab und werten User-Agent-Gruppen, Allow- und Disallow-Regeln, Platzhalter und Sitemap-Zeilen aus.

  2. Für jeden KI-Agent wenden wir die spezifischste passende Gruppe (oder die *-Gruppe) und die längste passende Regel an – für Ihre Startseite und einige typische Pfade.

  3. Sie erhalten eine verständliche Zusammenfassung, eine priorisierte To-do-Liste und eine Tabelle mit Betreiber, Zweck und Status jedes Bots, verlinkt mit der offiziellen Dokumentation des Betreibers.

Häufige Fragen

Was ist ein KI-Crawler?

Ein automatisierter Client eines KI-Unternehmens. Manche sammeln Inhalte für das Modelltraining (z. B. GPTBot oder ClaudeBot), manche bauen Suchindizes für KI-Antworten auf (z. B. OAI-SearchBot, Claude-SearchBot oder PerplexityBot), und manche rufen eine Seite nur ab, wenn ein Nutzer danach fragt (z. B. ChatGPT-User oder Claude-User).

Sollte ich KI-Crawler sperren?

Das hängt von Ihren Zielen ab. Wenn Sie in KI-Antworten zitiert werden möchten, lassen Sie Such-Agents und nutzerinitiierte Agents zu. Trainings-Crawler zu sperren ist eine eigene geschäftliche Entscheidung; Betreiber wie OpenAI, Anthropic und Google dokumentieren dafür getrennte Tokens.

Wie sperre ich nur das KI-Training?

Legen Sie für jedes Trainings-Token eine Gruppe an, z. B. „User-agent: GPTBot“ gefolgt von „Disallow: /“. Google dokumentiert, dass das Token Google-Extended die Nutzung für Training und Grounding von Gemini steuert und das Ranking in der Google Suche nicht beeinflusst.

Garantiert die robots.txt, dass ein Bot draußen bleibt?

Nein. robots.txt ist ein freiwilliger Standard. Die hier aufgeführten Betreiber geben an, ihn zu beachten, aber er ist keine Zugriffskontrolle. Schützen Sie vertrauliche Inhalte mit Authentifizierung oder Firewall-Regeln.

Ist der KI-Crawler-Check von Citevana kostenlos?

Ja. Sie können ihn ohne Konto kostenlos nutzen – mit einem großzügigen Tageslimit zum Schutz vor Missbrauch.