CitevanaBot

見分け方

CitevanaBot はすべてのリクエストで次の User-Agent ヘッダーを送信します: CitevanaBot/0.1 (+https://citevana.com/bot)

robots.txt で使う名前は CitevanaBot です。

IP アドレス（現在）

CitevanaBot は現在、次の IP アドレスから接続しています: 187.77.220.186。接続は IPv4 のみです。

サーバーの移転や追加でアドレスが変わることがあります。このページには常に最新のアドレスを掲載しているので、許可リストを見直すときに確認してください。

CitevanaBotが取得するもの

CitevanaBotが取得するのは、Citevanaのツールに送信されたURLと、/robots.txt や /llms.txt など同じサイト上の密接に関連する公開ファイル、そしてサイト監査のために所有者がCitevanaで確認済みのウェブサイトのみです。自らウェブを巡回することはありません。

robots.txt

サイト監査などのクロール機能は、robots.txtのルールを尊重します。単一URLの一度きりのチェックは、ブラウザでページを開くのと同様に、人からのリクエストによって行われます。CitevanaBotのクロール機能をブロックするには、robots.txtに次を追加してください：User-agent: CitevanaBot / Disallow: /

ファイアウォールにブロックされる理由

Cloudflare の Bot Fight Mode、「Under Attack」モード、マネージドチャレンジなどのボット対策や、その他の WAF は、ページの代わりにチャレンジページを CitevanaBot に返すことがあります。CitevanaBot がこれらのチェックを解いたり回避したりすることはありません。監査は停止してサイト所有者に変更点を伝え、チェックできなかったページは監査の上限を消費しません。

Cloudflare で CitevanaBot を許可する方法

• Cloudflare のダッシュボードでドメインを開き、Security → Security rules → Create rule → Custom rules に進みます（古いダッシュボードでは Security → WAF → Custom rules）。
• 次の式を使います: (http.user_agent contains "CitevanaBot")。現在の IP アドレスも確認する、より厳しいルールにするには次を使います: (http.user_agent contains "CitevanaBot" and ip.src in {187.77.220.186})
• アクションに Skip を選び、All remaining custom rules、All rate limiting rules、All Super Bot Fight Mode rules、All managed rules（表示される場合は Browser Integrity Check も）をオンにします。ルールをデプロイして一番上に移動します。
• 無料プランの設定である Bot Fight Mode は、どのルールでもスキップできません。監査の間はオフにするか、Skip ルールが有効な Super Bot Fight Mode（Pro プラン以上）を使ってください。
• 「Under Attack」モードがオンだと、すべての訪問者にチャレンジが表示されます。監査の間はオフにしてください。Cloudflare の Configuration Rules では一致するリクエストの Security Level を変更できるため、CitevanaBot 向けに Security Level を下げるルールでも通る可能性がありますが、確認はできていません。

その他のファイアウォールと CDN

Akamai、Imperva、Sucuri、DataDome、HUMAN（PerimeterX）、AWS WAF、ホスティング会社のファイアウォールでは、User-Agent に CitevanaBot を含むリクエストを許可またはバイパスするルールを追加してください。ユーザーエージェントは誰でも真似できるため、可能であれば上記の IP アドレスに限定してください。

制限と安全対策

• 標準ポートのHTTPまたはHTTPSで、公開インターネット上のアドレスにのみ接続します。
• リダイレクトは最大5回まで、8秒で停止し、1回のレスポンスにつき最大2 MBまで読み取ります。
• サイト監査では同時に最大 2 件までリクエストし、間隔をあけ、Crawl-delay（最大 5 秒）に従い、サイトが「リクエストが多すぎます」と応答したら速度を落とします。
• 無料ツールからのリクエストには利用制限があります。
• ログイン、フォーム送信、CAPTCHAやボット対策の回避は行いません。
• Googleの検索結果をスクレイピングしません。
• ページの内容はデータとしてのみ扱い、指示として扱うことはありません。

お問い合わせ

CitevanaBotがあなたのサイトで問題を起こしている場合は、影響を受けたURLと日時を添えてhello@citevana.comまでご連絡ください。調査いたします。

よくある質問