CitevanaBot

Cách nhận biết

CitevanaBot gửi header User-Agent này trong mọi yêu cầu: CitevanaBot/0.1 (+https://citevana.com/bot)

Tên dùng trong robots.txt là CitevanaBot.

Địa chỉ IP (hiện tại)

CitevanaBot hiện kết nối từ địa chỉ IP này: 187.77.220.186. Nó chỉ kết nối qua IPv4.

Địa chỉ có thể thay đổi nếu chúng tôi chuyển hoặc thêm máy chủ. Trang này luôn hiển thị địa chỉ hiện tại, vì vậy hãy xem lại khi rà soát danh sách cho phép.

CitevanaBot tải những gì

CitevanaBot chỉ truy xuất các URL mà mọi người gửi tới công cụ Citevana, cùng với các tệp công khai liên quan trên cùng trang như /robots.txt và /llms.txt, và, để kiểm tra trang, các trang web mà chủ sở hữu đã xác minh trong Citevana. Bot không tự duyệt web.

robots.txt

Các tính năng thu thập dữ liệu, như kiểm tra site, tuân thủ quy tắc robots.txt. Việc kiểm tra một lần cho một URL do một người yêu cầu, giống như mở trang đó trong trình duyệt. Để chặn các tính năng thu thập dữ liệu của CitevanaBot, hãy thêm nội dung sau vào robots.txt: User-agent: CitevanaBot / Disallow: /

Vì sao tường lửa có thể chặn nó

Các dịch vụ chống bot như Bot Fight Mode của Cloudflare, chế độ “Under Attack”, managed challenge hoặc các tường lửa ứng dụng web khác có thể hiển thị trang challenge cho CitevanaBot thay vì trang của bạn. CitevanaBot không bao giờ tìm cách giải hay vượt qua các bước kiểm tra này. Lần kiểm tra sẽ dừng và cho chủ trang biết cần thay đổi gì, và các trang chưa được kiểm tra không bị trừ vào hạn mức kiểm tra.

Cách cho phép CitevanaBot trong Cloudflare

• Trong bảng điều khiển Cloudflare, mở tên miền và vào Security → Security rules → Create rule → Custom rules (bảng điều khiển cũ: Security → WAF → Custom rules).
• Dùng biểu thức này: (http.user_agent contains "CitevanaBot"). Để có quy tắc chặt chẽ hơn, kiểm tra cả địa chỉ IP hiện tại của chúng tôi, dùng: (http.user_agent contains "CitevanaBot" and ip.src in {187.77.220.186})
• Chọn hành động Skip và đánh dấu All remaining custom rules, All rate limiting rules, All Super Bot Fight Mode rules và All managed rules (cùng Browser Integrity Check nếu có). Triển khai quy tắc và đưa lên đầu.
• Bot Fight Mode, cài đặt của gói miễn phí, không thể bị bỏ qua bằng bất kỳ quy tắc nào. Hãy tắt nó trong lúc kiểm tra, hoặc dùng Super Bot Fight Mode (gói Pro trở lên), vốn được quy tắc Skip áp dụng.
• Nếu chế độ “Under Attack” đang bật, mọi khách truy cập đều nhận challenge: hãy tắt nó trong lúc kiểm tra. Configuration Rules của Cloudflare có thể đổi Security Level cho các yêu cầu khớp, nên một quy tắc cho CitevanaBot với Security Level thấp hơn cũng có thể hiệu quả, nhưng chúng tôi chưa xác nhận.

Tường lửa và CDN khác

Trong Akamai, Imperva, Sucuri, DataDome, HUMAN (PerimeterX), AWS WAF hoặc tường lửa của nhà cung cấp hosting, thêm quy tắc cho phép hoặc bỏ qua cho các yêu cầu có User-Agent chứa CitevanaBot. Nếu được, hãy giới hạn trong địa chỉ IP ở trên, vì ai cũng có thể sao chép user agent.

Giới hạn và biện pháp bảo vệ

• Bot chỉ kết nối tới địa chỉ internet công khai, qua HTTP hoặc HTTPS trên cổng tiêu chuẩn.
• Bot đi theo tối đa 5 lần chuyển hướng, dừng sau 8 giây và đọc tối đa 2 MB cho mỗi phản hồi.
• Kiểm tra trang web gửi tối đa 2 yêu cầu cùng lúc, giãn cách giữa các yêu cầu, tuân theo Crawl-delay (tối đa 5 giây) và chậm lại khi trang web báo “quá nhiều yêu cầu”.
• Yêu cầu từ công cụ miễn phí bị giới hạn tần suất.
• Bot không đăng nhập, không gửi biểu mẫu và không tìm cách vượt qua CAPTCHA hay cơ chế chống bot.
• Bot không thu thập (scrape) kết quả tìm kiếm của Google.
• Bot chỉ coi nội dung trang là dữ liệu, không bao giờ là chỉ dẫn.

Liên hệ

Nếu CitevanaBot gây ra sự cố cho trang của bạn, hãy gửi email tới hello@citevana.com kèm các URL bị ảnh hưởng và thời điểm xảy ra, chúng tôi sẽ kiểm tra.

Câu hỏi thường gặp