CitevanaBot

Cara mengenalinya

CitevanaBot mengirim header User-Agent ini di setiap permintaan: CitevanaBot/0.1 (+https://citevana.com/bot)

Nama yang dipakai di robots.txt adalah CitevanaBot.

Alamat IP (saat ini)

CitevanaBot saat ini terhubung dari alamat IP berikut: 187.77.220.186. Crawler ini hanya terhubung lewat IPv4.

Alamat ini bisa berubah jika kami memindahkan atau menambah server. Halaman ini selalu mencantumkan yang terbaru, jadi periksa saat Anda meninjau daftar izin.

Apa yang diambil CitevanaBot

CitevanaBot hanya mengambil URL yang dikirimkan orang ke alat Citevana, ditambah file publik terkait di situs yang sama, seperti /robots.txt dan /llms.txt, serta, untuk audit situs, situs web yang pemiliknya telah memverifikasinya di Citevana. Bot ini tidak menjelajah web sendiri.

robots.txt

Fitur crawling, seperti audit situs, mematuhi aturan robots.txt. Pemeriksaan satu kali untuk satu URL diminta oleh seseorang, mirip dengan membuka halaman di browser. Untuk memblokir fitur crawling CitevanaBot, tambahkan ini ke robots.txt Anda: User-agent: CitevanaBot / Disallow: /

Mengapa firewall bisa memblokirnya

Layanan proteksi bot, seperti Bot Fight Mode Cloudflare, mode “Under Attack”, managed challenge, atau web application firewall lain, bisa menampilkan halaman challenge kepada CitevanaBot, bukan halaman Anda. CitevanaBot tidak pernah mencoba menyelesaikan atau melewati pemeriksaan ini. Audit berhenti dan memberi tahu pemilik situs apa yang perlu diubah, dan halaman yang tidak diperiksa tidak memakai kuota audit.

Cara mengizinkan CitevanaBot di Cloudflare

• Di dasbor Cloudflare, buka domain Anda lalu masuk ke Security → Security rules → Create rule → Custom rules (di dasbor lama: Security → WAF → Custom rules).
• Gunakan ekspresi ini: (http.user_agent contains "CitevanaBot"). Untuk aturan yang lebih ketat dan juga memeriksa alamat IP kami saat ini, gunakan: (http.user_agent contains "CitevanaBot" and ip.src in {187.77.220.186})
• Pilih aksi Skip dan centang All remaining custom rules, All rate limiting rules, All Super Bot Fight Mode rules, dan All managed rules (serta Browser Integrity Check jika ada). Terapkan aturan dan pindahkan ke urutan teratas.
• Bot Fight Mode, pengaturan paket gratis, tidak bisa dilewati oleh aturan apa pun. Matikan selama audit berjalan, atau gunakan Super Bot Fight Mode (paket Pro ke atas) yang bisa dilewati aturan Skip.
• Jika mode “Under Attack” aktif, setiap pengunjung mendapat challenge: matikan selama audit berjalan. Configuration Rules Cloudflare bisa mengubah Security Level untuk permintaan yang cocok, jadi aturan untuk CitevanaBot dengan Security Level lebih rendah mungkin juga berhasil, tetapi kami belum memastikannya.

Firewall dan CDN lain

Di Akamai, Imperva, Sucuri, DataDome, HUMAN (PerimeterX), AWS WAF, atau firewall penyedia hosting Anda, tambahkan aturan izinkan atau bypass untuk permintaan yang User-Agent-nya mengandung CitevanaBot. Jika bisa, batasi ke alamat IP di atas, karena siapa pun bisa meniru user agent.

Batasan dan pengamanan

• Bot hanya terhubung ke alamat internet publik, melalui HTTP atau HTTPS pada port standar.
• Bot mengikuti paling banyak 5 pengalihan, berhenti setelah 8 detik, dan membaca paling banyak 2 MB per respons.
• Audit situs mengirim paling banyak 2 permintaan sekaligus, memberi jeda antarpermintaan, mematuhi Crawl-delay (hingga 5 detik), dan melambat saat situs menjawab “terlalu banyak permintaan”.
• Permintaan alat gratis dibatasi frekuensinya.
• Bot tidak masuk ke akun, tidak mengirim formulir, dan tidak mencoba melewati CAPTCHA atau perlindungan bot.
• Bot tidak melakukan scraping hasil penelusuran Google.
• Bot memperlakukan konten halaman hanya sebagai data, tidak pernah sebagai instruksi.

Kontak

Jika CitevanaBot menimbulkan masalah pada situs Anda, kirim email ke hello@citevana.com beserta URL yang terdampak dan waktunya, dan kami akan menyelidikinya.

Pertanyaan umum