Analytics des crawlers IA Cloudflare
Si votre site est derrière Cloudflare, Cloudflare voit déjà chaque crawler IA. Connectez un token en lecture seule et transformez ces données en un tableau de bord clair des bots IA en une minute.
Connectez votre compte Cloudflare
- 1
Ouvrez Tokens d’API Cloudflare ↗ et cliquez sur « Créer un token », puis sur « Créer un token personnalisé ».
- 2
Ajoutez deux autorisations : Zone → Zone → Read (Lecture) et Zone → Analytics → Read (Lecture).
- 3
Dans « Ressources de zone », choisissez « Inclure → Zone spécifique » et sélectionnez votre site. Créez le token et copiez-le.
- 4
Collez le token ci-dessous. Nous le vérifions, le chiffrons et ne l’affichons plus jamais.
Token en lecture seule · chiffré en AES-256 · révocable à tout moment dans Cloudflare
Comment l’utiliser
- 1
Créez un token en lecture seule
Dans Cloudflare, créez un token d’API avec deux autorisations de lecture : Zone Read et Analytics Read. Ce token ne peut rien modifier dans votre compte.
- 2
Collez-le et choisissez votre site
Nous vérifions le token auprès de Cloudflare, le chiffrons et affichons les zones qu’il peut lire. Choisissez le site à consulter.
- 3
Voyez les bots IA par jour et par page
Les requêtes de plus de 30 crawlers IA, leur part du trafic total, les pages qu’ils lisent le plus et les erreurs qu’ils reçoivent.
Comment fonctionne la connexion à Cloudflare
Votre token ne quitte jamais notre serveur et n’est plus jamais affiché une fois collé.
- Vous créez un token
Dans votre profil Cloudflare, vous créez un token d’API personnalisé avec Zone Read et Analytics Read, limité au site de votre choix.
- Nous le vérifions et le chiffrons
Nous appelons l’endpoint de vérification des tokens de Cloudflare, puis nous stockons le token chiffré en AES-256-GCM. Il n’est plus jamais renvoyé à votre navigateur.
- Nous interrogeons les analytics de Cloudflare
À chaque ouverture du tableau de bord, nous demandons à l’API GraphQL Analytics les requêtes dont le user-agent est celui d’un crawler IA.
- Vous voyez le trafic des bots IA
Requêtes par jour et par société, part du trafic total, pages les plus lues et codes de statut reçus par les bots IA.
Ce que le token peut faire et ne peut pas faire
| Autorisation | Pourquoi nous en avons besoin | Ce qu’il ne peut pas faire |
|---|---|---|
| Zone → Zone → Read | Lister les sites (zones) que le token peut voir, pour que vous en choisissiez un. | Modifier le DNS, le SSL, les règles de page ou tout autre réglage. |
| Zone → Analytics → Read | Analytics de requêtes agrégés : user-agents, chemins, codes de statut, dates. | Voir les adresses IP des visiteurs, les cookies ou les données de formulaire, ni modifier les règles du pare-feu. |
| Ressources de zone : un seul site | Limite le token au site que vous sélectionnez. | Voir les autres sites de votre compte. |
Vous pouvez supprimer le token dans Cloudflare à tout moment. Vous déconnecter ici supprime aussi notre copie chiffrée.
Ce que vous apprend le tableau de bord
GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot, les crawlers de Meta et d’Amazon, chacun avec sa société et sa finalité.
Quelle part du trafic sert à entraîner des modèles et quelle part sert à lire des pages pour des réponses IA en direct qui peuvent vous citer.
Les pages que les crawlers IA demandent le plus. Si vos pages clés n’y figurent pas, elles sont peut-être difficiles à trouver.
Les réponses 403, 404 et 5xx servies aux bots IA. Une règle de pare-feu qui bloque OAI-SearchBot apparaît ici en premier.
La checklist de sécurité que nous appliquons
- Le token est vérifié auprès de Cloudflare avant d’être enregistré
- Stocké chiffré en AES-256-GCM, jamais en clair
- Jamais renvoyé au navigateur après la connexion
- Utilisé uniquement pour des requêtes de lecture vers l’API GraphQL Analytics
- Résultats mis en cache 30 minutes pour limiter les appels à l’API
- Supprimé avec votre compte ou lorsque vous vous déconnectez
Documentation officielle
Le guide de Cloudflare sur les tokens personnalisés et les autorisations.
API GraphQL AnalyticsL’API que nous interrogeons pour les analytics de requêtes.
Limites de l’API GraphQLDurée de conservation et limites de débit selon l’offre.
AI Crawl ControlLes réglages propres à Cloudflare pour les crawlers IA.
FAQ
Est-il sûr de vous confier un token Cloudflare ?
Le token que vous créez n’a que deux autorisations de lecture : Zone Read et Analytics Read. Il ne peut modifier ni le DNS, ni les règles de pare-feu, ni aucun réglage. Nous le chiffrons en AES-256 avant de le stocker, ne l’utilisons que pour interroger vos analytics et le supprimons quand vous vous déconnectez. Vous pouvez aussi le révoquer à tout moment dans Cloudflare.
Est-ce que cela fonctionne avec l’offre gratuite de Cloudflare ?
Oui. Cloudflare fournit les analytics de requêtes que nous utilisons sur toutes ses offres, y compris la gratuite. La profondeur d’historique dépend de votre offre Cloudflare : nous lisons la limite de votre zone et affichons le maximum disponible.
Quelle différence avec l’analyseur de logs des bots IA ?
L’analyseur de logs fonctionne avec des fichiers de logs que vous téléchargez depuis votre serveur. Cet outil lit le même type de données directement depuis Cloudflare, sans export de fichier, et se met à jour à chaque ouverture.
Pourquoi les chiffres ne correspondent-ils pas exactement à mes logs serveur ?
Les analytics de Cloudflare sont échantillonnés de façon adaptative sur les grands sites : les chiffres sont donc des estimations proches. Les requêtes servies depuis le cache de Cloudflare n’atteignent jamais les logs de votre serveur, mais apparaissent ici.
Quel forfait faut-il ?
La connexion à Cloudflare est incluse dans les forfaits Pro et Agency. Sans Pro, vous pouvez voir un exemple de tableau de bord sur cette page.