CitevanaBot

Cómo reconocerlo

CitevanaBot envía este encabezado User-Agent en cada solicitud: CitevanaBot/0.1 (+https://citevana.com/bot)

El nombre que debes usar en robots.txt es CitevanaBot.

Dirección IP (actual)

CitevanaBot se conecta actualmente desde esta dirección IP: 187.77.220.186. Solo se conecta por IPv4.

La dirección puede cambiar si movemos o añadimos servidores. Esta página siempre muestra la actual, así que consúltala cuando revises una lista de permitidos.

Qué obtiene CitevanaBot

CitevanaBot solo accede a las URL que las personas envían a las herramientas de Citevana, además de archivos públicos estrechamente relacionados del mismo sitio, como /robots.txt y /llms.txt, y, para las auditorías de sitios, a los sitios web cuyos propietarios los han verificado en Citevana. No navega por la web por su cuenta.

robots.txt

Las funciones de rastreo, como las auditorías de sitio, respetan las reglas de robots.txt. Una revisión puntual de una sola URL la solicita una persona, de forma parecida a abrir la página en un navegador. Para bloquear las funciones de rastreo de CitevanaBot, añade esto a tu robots.txt: User-agent: CitevanaBot / Disallow: /

Por qué un firewall puede bloquearlo

Los servicios de protección contra bots, como el Bot Fight Mode de Cloudflare, el modo «Under Attack» y los desafíos gestionados, u otros firewalls de aplicaciones web, pueden mostrar a CitevanaBot una página de desafío en lugar de tu página. CitevanaBot nunca intenta resolver ni saltarse estos controles. La auditoría se detiene y le explica al propietario qué cambiar, y las páginas no revisadas no consumen cupo de auditoría.

Cómo permitir CitevanaBot en Cloudflare

• En el panel de Cloudflare, abre tu dominio y ve a Security → Security rules → Create rule → Custom rules (en paneles antiguos: Security → WAF → Custom rules).
• Usa esta expresión: (http.user_agent contains "CitevanaBot"). Para una regla más estricta que también compruebe nuestra dirección IP actual, usa: (http.user_agent contains "CitevanaBot" and ip.src in {187.77.220.186})
• Elige la acción Skip y marca All remaining custom rules, All rate limiting rules, All Super Bot Fight Mode rules y All managed rules (y Browser Integrity Check, si aparece). Implementa la regla y muévela al principio.
• El Bot Fight Mode, el ajuste del plan gratuito, no se puede omitir con ninguna regla. Desactívalo mientras se ejecuta una auditoría o usa Super Bot Fight Mode (plan Pro o superior), que la regla Skip sí cubre.
• Si el modo «Under Attack» está activado, todos los visitantes reciben un desafío: desactívalo mientras se ejecuta una auditoría. Las Configuration Rules de Cloudflare pueden cambiar el Security Level de las solicitudes que coincidan, así que una regla para CitevanaBot con un Security Level más bajo también podría funcionar, aunque no lo hemos confirmado.

Otros firewalls y CDN

En Akamai, Imperva, Sucuri, DataDome, HUMAN (PerimeterX), AWS WAF o el firewall de tu proveedor de hosting, añade una regla de permiso o de omisión para las solicitudes cuyo User-Agent contenga CitevanaBot. Si puedes, limítala a la dirección IP de arriba, porque cualquiera puede copiar un agente de usuario.

Límites y salvaguardas

• Solo se conecta a direcciones públicas de internet, por HTTP o HTTPS en puertos estándar.
• Sigue como máximo 5 redirecciones, se detiene a los 8 segundos y lee como máximo 2 MB por respuesta.
• Las auditorías de sitios envían como máximo 2 solicitudes a la vez, esperan entre solicitudes, respetan Crawl-delay (hasta 5 segundos) y van más despacio cuando un sitio responde «demasiadas solicitudes».
• Las solicitudes de las herramientas gratuitas tienen límites de uso.
• No inicia sesión, no envía formularios ni intenta eludir CAPTCHA o protecciones contra bots.
• No extrae resultados de búsqueda de Google.
• Trata el contenido de las páginas solo como datos, nunca como instrucciones.

Contacto

Si CitevanaBot causa algún problema en tu sitio, escribe a hello@citevana.com indicando las URL afectadas y la hora, y lo revisaremos.

Preguntas frecuentes