Vérificateur de crawlers IA
Vérifiez quels crawlers IA sont autorisés par votre robots.txt. Nous évaluons chaque règle comme le font les crawlers : le groupe user-agent le plus spécifique et le chemin correspondant le plus long l’emportent.
Comment l’utiliser
- 1
Saisissez l’adresse de votre site ou d’une page
Nous récupérons robots.txt à la racine et testons le chemin que vous avez saisi.
- 2
Consultez le tableau des bots
Pour chaque bot IA : autorisé ou bloqué, sa finalité et la règle qui a décidé.
- 3
Ajustez vos règles
Utilisez le générateur de robots.txt pour l’IA pour autoriser les bots de recherche et bloquer les bots d’entraînement en un clic.
Trois couches décident si un bot peut entrer
Un vérificateur de crawlers IA qui ne lit que robots.txt passe à côté de la moitié du tableau. Un bot peut être autorisé dans robots.txt et tout de même bloqué par votre pare-feu, ou autorisé à charger la page puis prié de ne pas l’utiliser.
Nous vérifions les trois couches pour chaque bot IA et affichons la première qui l’arrête.
Une demande polie. Les grandes sociétés d’IA la respectent.
User-agent: GPTBot
Disallow: /Blocage strict : le bot reçoit 403, 429 ou un challenge.
HTTP/2 403
cf-mitigated: challengeBalises meta et en-têtes qui limitent l’indexation ou l’usage par l’IA.
X-Robots-Tag: noindexLes signaux d’opt-out IA que nous lisons
Au-delà de robots.txt, plusieurs standards récents indiquent aux sociétés d’IA comment le contenu peut être utilisé. Leur prise en charge est très variable : nous les affichons donc séparément.
| Signal | Où il se trouve | Exemple | Qui le lit |
|---|---|---|---|
| robots.txt | /robots.txt | User-agent: CCBot | Tous les principaux crawlers IA |
| Content-Signal | robots.txt | Content-Signal: search=yes, ai-train=no | Proposition de Cloudflare, encore récente |
| noai, noimageai | meta robots | <meta name="robots" content="noai"> | Certaines plateformes d’images et d’art |
| TDMRep | en-tête, meta ou /.well-known/tdmrep.json | tdm-reservation: 1 | Opt-out de la fouille de textes et de données dans l’UE |
| ai.txt | /ai.txt | User-Agent: * / Disallow: *.jpg | Spawning et ses partenaires |
Dans l’UE, TDMRep est un moyen lisible par machine de réserver ses droits de fouille de textes et de données au titre de la directive sur le droit d’auteur (DSM).
Erreurs courantes de robots.txt avec les bots IA
Si GPTBot a son propre groupe, il ignore tout ce qui se trouve sous User-agent: *. Répétez les règles communes dans chaque groupe.
Cela vous retire de la recherche Google. Utilisez le token Google-Extended pour refuser uniquement l’entraînement de Gemini.
Disallow: /Blog/ ne bloque pas /blog/.
Disallow: sans chemin signifie « rien n’est bloqué ». Utilisez / pour bloquer tout le site.
De nombreux crawlers traitent une erreur serveur sur robots.txt comme « ne pas explorer » jusqu’à ce qu’elle soit corrigée.
Autoriser la recherche IA, bloquer l’entraînement
La configuration la plus courante : rester visible dans les réponses de ChatGPT, Claude et Perplexity tout en refusant l’entraînement des modèles.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
Content-Signal: search=yes, ai-train=noCréez votre propre version à l’aide de cases à cocher dans le générateur de robots.txt pour l’IA.
Standards
FAQ
Comment robots.txt est-il évalué pour les bots IA ?
Un crawler utilise le groupe qui nomme son token (par exemple « GPTBot »). S’il n’en existe pas, il se rabat sur « User-agent: * ». Dans le groupe, le chemin Allow ou Disallow correspondant le plus long l’emporte, et Allow gagne en cas d’égalité.
Que se passe-t-il si je n’ai pas de robots.txt ?
Si robots.txt renvoie 404, les crawlers considèrent que tout est autorisé. S’il renvoie une erreur 5xx, de nombreux crawlers traitent tout le site comme bloqué jusqu’à ce que le fichier soit de nouveau accessible.
Tous les bots IA respectent-ils robots.txt ?
Les grands fournisseurs comme OpenAI, Anthropic, Google, Perplexity et Apple indiquent que leurs crawlers respectent robots.txt. Certains bots qui chargent une page à la demande d’un utilisateur peuvent se comporter différemment. Consultez la documentation de chaque fournisseur.