Analyseur de logs des bots IA
Voyez comment les crawlers IA utilisent réellement votre site. Déposez un log serveur : nous détectons plus de 30 crawlers IA, les vérifions avec les listes d’IP officielles et affichons les pages qu’ils explorent. Rien n’est envoyé sur un serveur.
Comment l’utiliser
- 1
Exportez votre log d’accès
Téléchargez access.log depuis votre serveur, votre panneau d’hébergement ou votre CDN. Les fichiers gzip fonctionnent aussi.
- 2
Déposez-le ici
Le fichier est analysé dans votre navigateur. Nous repérons les user-agents IA et vérifions chaque adresse IP avec la liste publiée par le fournisseur.
- 3
Agissez à partir du rapport
Bloquez les faux bots, corrigez les erreurs rencontrées par les crawlers IA et assurez-vous que vos pages clés sont bien explorées.
Comment l’analyseur lit votre log
- Lecture du fichier en flux
Les logs volumineux ou compressés en gzip sont lus par morceaux : un fichier de 1 Go ne fige pas l’onglet.
- Recherche des bots IA
Le user-agent de chaque ligne est comparé à plus de 30 signatures de crawlers IA.
- Vérification de l’IP
Les adresses IP sont comparées aux plages publiées par le fournisseur : authentique, fausse ou sans liste.
- Construction du rapport
Bots, pages, codes de statut et requêtes par jour, prêts à être exportés en CSV.
Ce que nous apprend une seule ligne
Voici une ligne standard au format combined de Nginx ou d’Apache. Nous y lisons l’adresse IP, la date, l’URL, le statut et le user-agent.
20.171.207.13 - - [08/Nov/2026:10:14:02 +0000] "GET /pricing HTTP/1.1" 200 18432 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)"
└── IP: checked against openai.com/gptbot.json └── user agent: GPTBot → training crawlerOù trouver votre log d’accès
| Plateforme | Où le trouver |
|---|---|
| Nginx | /var/log/nginx/access.log (les fichiers plus anciens sont en .gz) |
| Apache | /var/log/apache2/access.log ou /var/log/httpd/access_log |
| Hébergement cPanel | Métriques → Raw Access → télécharger l’archive |
| Cloudflare | Logpush vers R2 ou S3 en lignes JSON (champs ClientIP, ClientRequestUserAgent) |
| Vercel, Netlify | Log drains vers un bucket de stockage, puis export |
Ce qu’il faut chercher dans le rapport
Un « GPTBot » venant d’une IP résidentielle ou de Tor et qui demande /wp-login.php est un scraper. Bloquez l’adresse IP, pas le nom du bot.
Beaucoup de 404 ou de 5xx sur les pages explorées signifient que les moteurs IA gardent une vision abîmée de votre site.
Les bots d’entraînement prennent du contenu sans envoyer de visiteurs. Les bots de recherche peuvent apporter des citations. Comparez leur part.
Si les bots IA dépensent leurs visites sur des pages de tags et des filtres, vos pages clés risquent de ne jamais être lues.
Une hausse soudaine du nombre de requêtes par jour signale souvent un nouveau bot ou un crawler coincé dans une boucle d’URL.
Bytespider ou Meta-ExternalAgent peuvent peser lourd. Décidez s’il faut les autoriser dans robots.txt.
FAQ
Mon fichier de logs est-il envoyé quelque part ?
Non. Le fichier est lu et analysé par JavaScript dans votre navigateur. Seules les listes publiques de plages d’IP sont téléchargées depuis notre serveur.
Quels formats de logs sont pris en charge ?
Les formats common et combined d’Apache et de Nginx, la plupart des exports de CDN et les lignes JSON avec des champs comme ClientIP et ClientRequestUserAgent (Cloudflare). Les lignes dans d’autres formats sont tout de même analysées pour y trouver les noms de bots et les adresses IP.
Comment repérez-vous les faux bots IA ?
OpenAI, Perplexity, Google, Microsoft, Apple, Common Crawl et DuckDuckGo publient les plages d’IP utilisées par leurs crawlers. Si une requête se présente comme GPTBot mais vient d’une adresse IP hors de cette liste, c’est un faux.
Pourquoi ClaudeBot ne peut-il pas être vérifié ?
Anthropic et quelques autres fournisseurs ne publient pas de listes d’IP : ces requêtes sont donc affichées comme « aucune liste d’IP publique » plutôt que comme vérifiées ou fausses.