Vérifier les vrais bots IA et repérer les faux

Chaque requête contient un en-tête User-Agent, et n’importe quel programme peut lui attribuer n’importe quelle valeur. Si un scraper y écrit GPTBot, votre serveur ne pourra pas faire la différence à partir du seul en-tête. Cela a des conséquences dans trois situations :

vous autorisez les bots de recherche IA à travers un pare-feu et vous ne voulez pas que les scrapers profitent de cette règle ;
vous analysez les logs et vous voulez des chiffres réels pour les crawlers IA, pas des chiffres gonflés ;
vous bloquez les bots d’entraînement et vous voulez savoir si le trafic bloqué était réel.

Deux façons de vérifier un crawler

1. Plages d’adresses IP publiées

La plupart des sociétés d’IA publient les adresses IP utilisées par leurs bots sous forme de fichiers JSON. Une requête n’est considérée comme légitime que si son adresse IP se situe dans la plage publiée pour ce bot.

Société	Bots	Où trouver les plages
OpenAI	`GPTBot`, `OAI-SearchBot`, `ChatGPT-User`	Un fichier JSON par bot, lié depuis la documentation d’OpenAI sur ses crawlers
Anthropic	`ClaudeBot`, `Claude-SearchBot`, `Claude-User`	Un fichier JSON lié depuis la page d’Anthropic sur ses crawlers
Perplexity	`PerplexityBot`, `Perplexity-User`	Fichiers JSON liés depuis la documentation des bots de Perplexity
Google	`Googlebot`, crawlers spécifiques, fetchers déclenchés par l’utilisateur	Des fichiers JSON distincts pour chaque groupe dans Google Search Central
Microsoft	`bingbot`	Un fichier JSON dans la documentation Bing Webmaster

Les plages changent : rechargez-les régulièrement au lieu de les copier une fois pour toutes dans une configuration.

2. DNS inverse

Google et Microsoft prennent également en charge la vérification DNS inverse :

Recherchez le nom d’hôte correspondant à l’adresse IP de la requête (une recherche DNS inverse, ou PTR).
Vérifiez que le nom d’hôte se termine par le bon domaine : googlebot.com ou google.com pour Google, search.msn.com pour Bing.
Résolvez ce nom d’hôte dans le sens direct et confirmez qu’il renvoie bien à la même adresse IP.

Les deux étapes sont nécessaires. Un scraper peut contrôler l’enregistrement inverse de sa propre adresse IP, mais pas l’enregistrement direct de googlebot.com.

À quoi ressemble un faux bot

Signes typiques, au-delà d’un échec de vérification d’adresse IP :

IP d’hébergeurs : des serveurs cloud bon marché plutôt que le réseau de la société.
Chemins d’accès inhabituels : pages de connexion, wp-admin, fichiers .env ou URL de recherche avec des paramètres aléatoires.
User-agents abîmés : numéro de version manquant ou URL de contact incorrecte.
Aucune requête vers robots.txt avant l’exploration, alors que les vrais crawlers le demandent régulièrement.

Que faire des faux

Bloquez-les au niveau du pare-feu, pas dans robots.txt. De toute façon, les faux bots ignorent robots.txt.
Ne les incluez pas dans vos rapports. Comptez les requêtes de crawlers vérifiées séparément des correspondances de user-agent, sinon vos chiffres concernant les crawlers IA seront erronés.
Ne bloquez pas uniquement par user-agent. Une règle bloquant toute requête se faisant passer pour GPTBot bloque aussi le vrai bot, ce que vous ne souhaitez peut-être pas.

Vérifiez-le rapidement

Saisissez une adresse IP et un user-agent dans le Vérificateur d’IP des bots IA pour déterminer si l’adresse IP appartient bien au bot qu’elle prétend être. L’Analyseur de logs des bots IA vérifie chaque requête de bot IA et liste les faux pour un fichier de logs entier. Le Tracker IA BotReady effectue automatiquement la même vérification pour chaque visite de crawler et affiche les faux bots dans un tableau distinct.