CitevanaBot

Comment le reconnaître

CitevanaBot envoie cet en-tête User-Agent à chaque requête : CitevanaBot/0.1 (+https://citevana.com/bot)

Le nom à utiliser dans robots.txt est CitevanaBot.

Adresse IP (actuelle)

CitevanaBot se connecte actuellement depuis cette adresse IP : 187.77.220.186. Il se connecte uniquement en IPv4.

L'adresse peut changer si nous déplaçons ou ajoutons des serveurs. Cette page indique toujours l'adresse actuelle : consultez-la lorsque vous révisez une liste d'autorisation.

Ce que CitevanaBot récupère

CitevanaBot ne récupère que les URL que les utilisateurs soumettent aux outils Citevana, ainsi que des fichiers publics étroitement liés sur le même site, comme /robots.txt et /llms.txt, et, pour les audits de site, les sites web dont les propriétaires les ont vérifiés dans Citevana. Il ne parcourt pas le web de lui-même.

robots.txt

Les fonctionnalités d’exploration, comme les audits de site, respectent les règles du robots.txt. Une vérification ponctuelle d’une seule URL est demandée par une personne, un peu comme l’ouverture de la page dans un navigateur. Pour bloquer les fonctionnalités d’exploration de CitevanaBot, ajoutez ceci à votre robots.txt : User-agent: CitevanaBot / Disallow: /

Pourquoi un pare-feu peut le bloquer

Les services anti-bots, comme le Bot Fight Mode de Cloudflare, le mode « Under Attack » et les challenges gérés, ou d'autres pare-feu applicatifs, peuvent présenter à CitevanaBot une page de challenge au lieu de votre page. CitevanaBot n'essaie jamais de résoudre ni de contourner ces contrôles. L'audit s'arrête et indique au propriétaire quoi changer, et les pages non vérifiées ne consomment aucun quota d'audit.

Comment autoriser CitevanaBot dans Cloudflare

• Dans le tableau de bord Cloudflare, ouvrez votre domaine et allez dans Security → Security rules → Create rule → Custom rules (anciens tableaux de bord : Security → WAF → Custom rules).
• Utilisez cette expression : (http.user_agent contains "CitevanaBot"). Pour une règle plus stricte qui vérifie aussi notre adresse IP actuelle, utilisez : (http.user_agent contains "CitevanaBot" and ip.src in {187.77.220.186})
• Choisissez l'action Skip et cochez All remaining custom rules, All rate limiting rules, All Super Bot Fight Mode rules et All managed rules (ainsi que Browser Integrity Check s'il est proposé). Déployez la règle et placez-la en haut.
• Le Bot Fight Mode, le réglage de l'offre gratuite, ne peut être ignoré par aucune règle. Désactivez-le pendant un audit ou utilisez Super Bot Fight Mode (offre Pro et supérieures), que la règle Skip couvre.
• Si le mode « Under Attack » est activé, chaque visiteur reçoit un challenge : désactivez-le pendant un audit. Les Configuration Rules de Cloudflare peuvent modifier le Security Level des requêtes correspondantes ; une règle pour CitevanaBot avec un Security Level plus bas pourrait donc aussi fonctionner, mais nous ne l'avons pas confirmé.

Autres pare-feu et CDN

Dans Akamai, Imperva, Sucuri, DataDome, HUMAN (PerimeterX), AWS WAF ou le pare-feu de votre hébergeur, ajoutez une règle d'autorisation ou de contournement pour les requêtes dont le User-Agent contient CitevanaBot. Si possible, limitez-la à l'adresse IP ci-dessus, car n'importe qui peut copier un agent utilisateur.

Limites et garde-fous

• Il ne se connecte qu’à des adresses internet publiques, en HTTP ou HTTPS sur les ports standard.
• Il suit au maximum 5 redirections, s’arrête après 8 secondes et lit au plus 2 Mo par réponse.
• Les audits de site envoient au plus 2 requêtes à la fois, attendent entre les requêtes, respectent Crawl-delay (jusqu'à 5 secondes) et ralentissent lorsqu'un site répond « trop de requêtes ».
• Les requêtes des outils gratuits sont limitées.
• Il ne se connecte à aucun compte, ne soumet aucun formulaire et ne tente pas de contourner les CAPTCHA ou les protections anti-robots.
• Il n’extrait pas de résultats de recherche Google.
• Il traite le contenu des pages uniquement comme des données, jamais comme des instructions.

Contact

Si CitevanaBot pose un problème à votre site, écrivez à hello@citevana.com en indiquant les URL concernées et l’heure, et nous examinerons la situation.

Questions fréquentes