Citevana

Alat gratis · tanpa daftar

Crawler AI mana yang dapat mengakses situs web Anda?

Masukkan domain Anda dan kami akan membaca robots.txt seperti yang dilakukan crawler (RFC 9309), lalu menunjukkan apakah setiap user agent AI utama diizinkan, diblokir sebagian, atau diblokir. Crawler pencarian AI dan pengambil halaman atas permintaan pengguna memerlukan akses agar halaman Anda dapat dikutip; crawler pelatihan adalah pilihan terpisah yang bisa Anda tentukan.

Terakhir ditinjau 16 September 2026

Pemeriksa crawler AI

Hanya situs web publik. Kami mengambil halaman sekali sebagai CitevanaBot dan tidak menyimpan isinya.

Cara kerjanya

  1. Kami mengambil /robots.txt dari domain Anda dan mengurai grup user-agent, aturan allow dan disallow, wildcard, serta baris sitemap.

  2. Untuk setiap user agent AI, kami menerapkan grup yang paling spesifik (atau grup *) dan aturan terpanjang yang cocok, untuk beranda Anda dan beberapa path umum.

  3. Anda mendapatkan ringkasan dalam bahasa sederhana, daftar tugas berurutan prioritas, dan tabel berisi operator, tujuan, dan status setiap bot, dengan tautan ke dokumentasi resmi operatornya.

Pertanyaan umum

Apa itu crawler AI?

Crawler AI adalah klien otomatis yang dijalankan perusahaan AI. Sebagian mengumpulkan konten untuk pelatihan model (misalnya GPTBot atau ClaudeBot), sebagian membangun indeks pencarian untuk jawaban AI (misalnya OAI-SearchBot, Claude-SearchBot, atau PerplexityBot), dan sebagian hanya mengambil halaman saat pengguna memintanya (misalnya ChatGPT-User atau Claude-User).

Haruskah saya memblokir crawler AI?

Tergantung tujuan Anda. Jika Anda ingin dikutip dalam jawaban AI, izinkan agen pencarian dan agen atas permintaan pengguna. Memblokir crawler pelatihan adalah keputusan bisnis tersendiri; operator seperti OpenAI, Anthropic, dan Google mendokumentasikan token terpisah agar Anda bisa memilih.

Bagaimana cara memblokir pelatihan AI saja?

Tambahkan grup untuk setiap token pelatihan, misalnya "User-agent: GPTBot" diikuti "Disallow: /". Google menjelaskan bahwa token Google-Extended mengontrol penggunaan untuk pelatihan dan grounding Gemini dan tidak memengaruhi peringkat di Google Search.

Apakah robots.txt menjamin bot tidak masuk?

Tidak. robots.txt adalah standar sukarela. Operator yang tercantum di sini menyatakan mematuhinya, tetapi robots.txt bukan kontrol akses; gunakan autentikasi atau aturan firewall untuk konten yang harus tetap privat.

Apakah pemeriksa crawler AI Citevana gratis?

Ya. Alat ini gratis digunakan tanpa akun, dengan batas harian yang longgar untuk mencegah penyalahgunaan.