Cette adresse IP est-elle vraiment celle d’un bot IA ?
Collez des adresses IP tirées de vos logs. Nous les comparons aux listes d’IP publiées par OpenAI, Perplexity, Google, Microsoft, Apple, Common Crawl et DuckDuckGo, et nous vérifions le DNS inverse.
Comment l’utiliser
- 1
Collez une ou plusieurs adresses IP
Prenez-les dans les logs de votre serveur ou de votre pare-feu. IPv4 et IPv6 fonctionnent tous les deux.
- 2
Ajoutez le user-agent (facultatif)
Si la requête se présentait comme un bot, nous vous disons si c’est vrai.
- 3
Autorisez ou bloquez
Autorisez les crawlers vérifiés dans votre pare-feu et bloquez les faux qui se font seulement passer pour des bots IA.
Pourquoi un user-agent ne prouve rien
Le user-agent est un simple en-tête texte. N’importe qui peut envoyer GPTBot/1.2 avec une ligne de code, et les scrapers le font pour passer les filtres qui autorisent les crawlers IA.
Il n’existe que deux moyens fiables de vérifier GPTBot ou tout autre crawler : contrôler que l’adresse IP se trouve dans la plage publiée par le fournisseur, ou faire un DNS inverse confirmé par résolution directe. Cet outil fait les deux.
La chaîne user-agent.
curl -A "GPTBot/1.2" https://example.comL’adresse IP source, car la connexion TCP doit pouvoir y revenir.
Comment fonctionne la vérification
- Analyse de l’IP
IPv4 et IPv6, jusqu’à 20 à la fois.
- Comparaison aux plages officielles
Nous téléchargeons les listes JSON à jour de chaque fournisseur et comparons l’adresse IP à chaque bloc CIDR.
- DNS inverse
Pour les fournisseurs sans liste, nous consultons l’enregistrement PTR, par exemple
crawl-66-249-66-1.googlebot.com. - Confirmation directe
Le nom d’hôte doit se résoudre vers la même adresse IP, sinon l’enregistrement PTR peut être falsifié.
Qui publie quoi
| Société | Liste d’IP officielle | Domaine DNS inverse |
|---|---|---|
| OpenAI | oui : gptbot.json, searchbot.json, chatgpt-user.json | aucun |
| oui : crawlers et fetchers déclenchés par l’utilisateur | googlebot.com, google.com | |
| Microsoft | oui : bingbot.json | search.msn.com |
| Apple | oui : applebot.json | applebot.apple.com |
| Perplexity | oui : perplexitybot.json, perplexity-user.json | aucun |
| Common Crawl | oui : ccbot.json | commoncrawl.org |
| DuckDuckGo | oui : duckassistbot.json | aucun |
| Anthropic | non | aucun |
ClaudeBot ne peut pas être vérifié par IP aujourd’hui, car Anthropic ne publie pas ses plages. Nous l’affichons comme « aucune liste publique » plutôt que de deviner.
Vérifiez-le vous-même dans un terminal
Le DNS inverse confirmé par résolution directe tient en deux commandes. Les deux réponses doivent concorder.
$ host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
$ host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1 ✓ genuine GooglebotQue faire du résultat
Autorisez-le dans votre WAF. Bloquer un vrai crawler vous retire de la recherche de ce moteur.
Bloquez l’adresse IP ou son réseau. Un faux bot ignore robots.txt : seul le pare-feu peut l’arrêter.
Surveillez le comportement : fréquence des requêtes, chemins demandés, respect de robots.txt. Limitez le débit s’il se comporte mal.
FAQ
Comment vérifier GPTBot ?
OpenAI publie les plages d’IP de GPTBot, OAI-SearchBot et ChatGPT-User. Une requête n’est authentique que si son adresse IP figure dans la liste correspondante. Nous téléchargeons les listes à jour et vérifions l’adresse IP pour vous.
Qu’est-ce que le DNS inverse confirmé par résolution directe ?
Nous cherchons le nom d’hôte de l’adresse IP (par exemple crawl-66-249-66-1.googlebot.com), puis nous résolvons ce nom d’hôte vers une adresse IP. Si les deux correspondent et que le domaine appartient au fournisseur, le crawler est authentique. Google, Microsoft, Apple et Amazon prennent en charge cette méthode.
Pourquoi existe-t-il de faux bots IA ?
Les scrapers copient le user-agent de GPTBot ou de ClaudeBot pour passer les filtres anti-bots ou se cacher parmi les vrais crawlers. Un user-agent se falsifie en une seconde ; une adresse IP, non.