CitevanaBot

Como reconhecê-lo

O CitevanaBot envia este cabeçalho User-Agent em todas as solicitações: CitevanaBot/0.1 (+https://citevana.com/bot)

O nome a usar no robots.txt é CitevanaBot.

Endereço IP (atual)

O CitevanaBot se conecta atualmente a partir deste endereço IP: 187.77.220.186. Ele só se conecta por IPv4.

O endereço pode mudar se mudarmos ou adicionarmos servidores. Esta página sempre mostra o atual, então confira-a ao revisar uma lista de permissões.

O que o CitevanaBot busca

O CitevanaBot acessa apenas as URLs que as pessoas enviam às ferramentas da Citevana, além de arquivos públicos relacionados no mesmo site, como /robots.txt e /llms.txt, e, para auditorias de site, os sites cujos proprietários os verificaram na Citevana. Ele não navega pela web por conta própria.

robots.txt

Os recursos de rastreamento, como auditorias de site, respeitam as regras do robots.txt. Uma verificação pontual de uma única URL é solicitada por uma pessoa, de forma parecida com abrir a página em um navegador. Para bloquear os recursos de rastreamento do CitevanaBot, adicione isto ao seu robots.txt: User-agent: CitevanaBot / Disallow: /

Por que um firewall pode bloqueá-lo

Serviços de proteção contra bots, como o Bot Fight Mode do Cloudflare, o modo “Under Attack” e os desafios gerenciados, ou outros firewalls de aplicações web, podem mostrar ao CitevanaBot uma página de desafio em vez da sua página. O CitevanaBot nunca tenta resolver nem contornar essas verificações. A auditoria para e explica ao dono do site o que mudar, e páginas não verificadas não consomem a cota de auditoria.

Como liberar o CitevanaBot no Cloudflare

• No painel do Cloudflare, abra seu domínio e vá em Security → Security rules → Create rule → Custom rules (em painéis antigos: Security → WAF → Custom rules).
• Use esta expressão: (http.user_agent contains "CitevanaBot"). Para uma regra mais rígida que também confere nosso endereço IP atual, use: (http.user_agent contains "CitevanaBot" and ip.src in {187.77.220.186})
• Escolha a ação Skip e marque All remaining custom rules, All rate limiting rules, All Super Bot Fight Mode rules e All managed rules (e Browser Integrity Check, se aparecer). Implante a regra e mova-a para o topo.
• O Bot Fight Mode, a configuração do plano gratuito, não pode ser pulado por nenhuma regra. Desative-o enquanto uma auditoria roda ou use o Super Bot Fight Mode (plano Pro ou superior), que a regra Skip cobre.
• Se o modo “Under Attack” estiver ativado, todo visitante recebe um desafio: desative-o enquanto uma auditoria roda. As Configuration Rules do Cloudflare podem mudar o Security Level das solicitações correspondentes, então uma regra para o CitevanaBot com um Security Level mais baixo talvez também funcione, mas não confirmamos isso.

Outros firewalls e CDNs

No Akamai, Imperva, Sucuri, DataDome, HUMAN (PerimeterX), AWS WAF ou no firewall do seu provedor de hospedagem, adicione uma regra de permissão ou de bypass para solicitações cujo User-Agent contenha CitevanaBot. Se possível, limite a regra ao endereço IP acima, porque qualquer pessoa pode copiar um user agent.

Limites e salvaguardas

• Ele só se conecta a endereços públicos da internet, por HTTP ou HTTPS em portas padrão.
• Segue no máximo 5 redirecionamentos, para após 8 segundos e lê no máximo 2 MB por resposta.
• As auditorias de sites enviam no máximo 2 solicitações por vez, esperam entre as solicitações, seguem o Crawl-delay (até 5 segundos) e desaceleram quando um site responde “muitas solicitações”.
• As solicitações das ferramentas gratuitas têm limites de uso.
• Ele não faz login, não envia formulários e não tenta contornar CAPTCHAs ou proteções contra bots.
• Ele não extrai resultados de busca do Google.
• Ele trata o conteúdo das páginas apenas como dados, nunca como instruções.

Contato

Se o CitevanaBot causar algum problema no seu site, envie um e-mail para hello@citevana.com com as URLs afetadas e o horário, e vamos analisar.

Perguntas frequentes