Repérer les crawlers IA dans vos logs serveur
Les crawlers IA n’exécutent pas JavaScript ; les outils d’analytics ne les voient donc pas. Votre serveur, lui, les voit. Voici où chercher et ce que les chiffres révèlent.
Ce que vous apprendrez
- Pourquoi GA4 et d’autres outils d’analyse ne peuvent pas afficher les crawlers IA
- Où trouver les logs selon les hébergements courants
- Quels champs et chiffres sont importants pour les crawlers IA ?
- Comment transformer des données brutes en un rapport hebdomadaire
GA4, Plausible et d’autres outils similaires fonctionnent en exécutant un script dans le navigateur du visiteur. Les crawlers IA tels que GPTBot, ClaudeBot et PerplexityBot téléchargent votre code HTML sans jamais exécuter ce script. Ils sont donc invisibles pour les outils d’analytics.
Le seul enregistrement complet de l’activité des crawlers IA se trouve côté serveur : logs d’accès, logs du CDN ou un petit snippet serveur qui signale les requêtes des bots.
Où trouver les logs
| Configuration | Où se trouvent les logs |
|---|---|
| Nginx ou Apache sur votre propre serveur | access.log, généralement dans /var/log/nginx/ ou /var/log/apache2/ |
| Hébergement mutualisé (cPanel et similaire) | Section « Accès brut » ou « Journaux » du panneau de contrôle |
| Cloudflare | Security Analytics, AI Crawl Control ou l’API GraphQL Analytics |
| Vercel, Netlify et autres plateformes | Les logs de requêtes de la plateforme, souvent conservés peu de temps, ou des log drains |
| WordPress sans accès au serveur | Un plugin ou un petit snippet qui enregistre les requêtes des bots |
Chez de nombreux hébergeurs, les logs ne sont conservés que quelques jours. Exportez-les régulièrement si vous souhaitez observer les tendances.
Ce qu’il faut regarder
Chaque ligne de log contient les champs nécessaires : heure, adresse IP, chemin de la requête, code de statut et user-agent. Pour les crawlers IA, cinq chiffres sont essentiels :
- Nombre de requêtes par bot et par jour. Quelles sociétés vous explorent, et ce nombre augmente-t-il ?
- Répartition par finalité : bots d’entraînement (
GPTBot,ClaudeBot,CCBot) face aux bots de recherche et aux bots déclenchés par l’utilisateur (OAI-SearchBot,Claude-SearchBot,PerplexityBot,ChatGPT-User). Seules les visites des bots de recherche génèrent des citations. - Pages les plus explorées. Si les bots consultent surtout des pages de tags, des filtres ou d’anciennes URL, votre contenu important risque de ne pas être exploré.
- Codes de statut. Un pourcentage élevé de réponses 403, 404 ou 5xx signifie que les bots sont bloqués ou tombent sur des pages cassées.
- Vérifiés ou simplement déclarés. Les requêtes dont l’adresse IP ne correspond pas aux plages publiées par le fournisseur sont fausses. Elles doivent être comptabilisées séparément.
Une vérification rapide en ligne de commande
Sur un serveur Nginx, cette commande compte les requêtes par bot IA dans le log du jour :
grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Google-Extended|Bytespider|CCBot|Amazonbot" /var/log/nginx/access.log | sort | uniq -c | sort -rnIl ne comptabilise que les correspondances de user-agent, les faux bots sont donc inclus.
Des logs à un rapport hebdomadaire
Les logs bruts sont pénibles à lire chaque semaine. Voici trois façons de les rendre plus pratiques :
- Déposez un fichier de logs dans l’Analyseur de logs des bots IA. Il détecte les bots IA, vérifie leurs adresses IP et affiche les pages les plus consultées et les erreurs.
- Connectez Cloudflare avec un token en lecture seule dans Analytics des crawlers IA Cloudflare pour voir les requêtes des crawlers sur votre zone par bot et par jour.
- Installez le Tracker IA BotReady. Un court snippet serveur enregistre chaque requête de crawler IA avec la page et le statut, tandis qu’une balise script compte les visiteurs provenant de ChatGPT, Perplexity et Gemini. Ces informations sont regroupées sur un seul tableau de bord.
Reliez l’exploration au trafic
L’exploration n’est que la première étape. Il est essentiel de savoir quelles pages explorées reçoivent ensuite des visiteurs via les assistants IA. Les pages souvent explorées par les crawlers, mais jamais visitées par des assistants IA, nécessitent peut-être des réponses plus claires ou une meilleure structure. Les pages qui attirent des visiteurs venant des assistants IA révèlent le type de contenu que les assistants IA jugent fiable sur votre site.