CitevanaBot

見分け方

CitevanaBotは「CitevanaBot」で始まるユーザーエージェント文字列で自身を識別し、このページ（https://citevana.com/bot）へのリンクを含みます。

CitevanaBotが取得するもの

CitevanaBotが取得するのは、Citevanaのツールに送信されたURLと、同じサイト上の関連する公開ファイル（/robots.txtや/llms.txtなど）のみです。自らウェブを巡回することはありません。ローンチ後は、サイト監査のため、所有者がCitevanaで認証したウェブサイトもクロールします。

robots.txt

サイト監査などのクロール機能は、robots.txtのルールを尊重します。単一URLの一度きりのチェックは、ブラウザでページを開くのと同様に、人からのリクエストによって行われます。CitevanaBotのクロール機能をブロックするには、robots.txtに次を追加してください：User-agent: CitevanaBot / Disallow: /

制限と安全対策

• 標準ポートのHTTPまたはHTTPSで、公開インターネット上のアドレスにのみ接続します。
• リダイレクトは最大5回まで、8秒で停止し、1回のレスポンスにつき最大2 MBまで読み取ります。
• 無料ツールからのリクエストには利用制限があります。
• ログイン、フォーム送信、CAPTCHAやボット対策の回避は行いません。
• Googleの検索結果をスクレイピングしません。
• ページの内容はデータとしてのみ扱い、指示として扱うことはありません。

お問い合わせ

CitevanaBotがあなたのサイトで問題を起こしている場合は、影響を受けたURLと日時を添えてhello@citevana.comまでご連絡ください。調査いたします。