Citevana

無料ツール・登録不要

あなたのサイトにアクセスできるAIクローラーはどれ？

ドメインを入力すると、クローラーと同じ方法（RFC 9309）で robots.txt を読み取り、主要なAIユーザーエージェントごとに「許可」「一部ブロック」「ブロック」を表示します。ページが引用されるには、AI検索用のエージェントとユーザーの依頼で取得するエージェントへのアクセス許可が必要です。学習用クローラーを許可するかどうかは別の判断です。

最終確認日：2026年9月16日

AIクローラーチェッカー

公開サイトのみ対象です。CitevanaBot としてページを1回だけ取得し、内容は保存しません。

仕組み

  1. ドメインの /robots.txt を取得し、user-agent グループ、allow・disallow ルール、ワイルドカード、sitemap 行を解析します。

  2. AIエージェントごとに、最も具体的に一致するグループ（なければ * グループ）と最長一致のルールを、トップページといくつかの一般的なパスに適用します。

  3. わかりやすい概要、優先順位付きのやることリスト、各ボットの運営者・用途・状態をまとめた表（運営者の公式ドキュメントへのリンク付き）が表示されます。

よくある質問

AIクローラーとは何ですか？

AI企業が運用する自動クライアントです。モデル学習用にコンテンツを収集するもの（例：GPTBot、ClaudeBot）、AI回答のための検索インデックスを作るもの（例：OAI-SearchBot、Claude-SearchBot、PerplexityBot）、ユーザーの依頼があったときだけページを取得するもの（例：ChatGPT-User、Claude-User）があります。

AIクローラーはブロックすべきですか？

目的によります。AIの回答で引用されたい場合は、検索用エージェントとユーザー依頼型のエージェントを許可してください。学習用クローラーをブロックするかは別のビジネス判断で、OpenAI、Anthropic、Google などは選択できるよう別々のトークンを公開しています。

AIの学習だけをブロックするには？

学習用トークンごとにグループを追加します。例：「User-agent: GPTBot」の次に「Disallow: /」。Google によると、Google-Extended トークンは Gemini の学習とグラウンディングへの利用を制御するもので、Google 検索の順位には影響しません。

robots.txt でボットの侵入を確実に防げますか？

いいえ。robots.txt は任意で守られる標準です。ここに挙げた運営者は遵守すると表明していますが、アクセス制御ではありません。非公開にすべきコンテンツは認証やファイアウォールで保護してください。

CitevanaのAIクローラーチェッカーは無料ですか？

はい。アカウント不要で無料でご利用いただけます。不正利用防止のため、十分な1日あたりの上限を設けています。