Bloquer les crawlers IA sans quitter la recherche IA

Chaque grande société d’IA fait désormais tourner plusieurs crawlers aux rôles différents. Si vous souhaitez que votre contenu ne soit pas utilisé pour l’entraînement des modèles, vous n’avez pas besoin de disparaître des réponses de ChatGPT ou de Perplexity. Il vous suffit de bloquer les user-agents concernés.

Trois types de bots IA

Type	Ce qu’il fait	Exemples	Le bloquer ?
Entraînement	Collecte des pages pour entraîner les futurs modèles	GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent	À vous de choisir
Recherche	Constitue l’index que les réponses de l’IA citent	OAI-SearchBot, Claude-SearchBot, PerplexityBot	Généralement non
Déclenché par l’utilisateur	Ouvre une page parce qu’un utilisateur l’a demandé	ChatGPT-User, Claude-User, Perplexity-User	Généralement non

Deux autres ne sont pas des crawlers, mais des tokens de contrôle. Google-Extended indique à Google de ne pas utiliser votre contenu pour l’entraînement et le grounding de Gemini, tandis que Googlebot continue d’explorer le site pour la recherche. Applebot-Extended fait de même pour Apple Intelligence.

Bloquer les bots d’entraînement ne vous coûte rien en termes de trafic : l’entraînement n’envoie pas de visiteurs. Bloquer les bots de recherche vous retire des sources citées par cet assistant.

Un robots.txt qui bloque uniquement l’entraînement

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: Meta-ExternalAgent
Disallow: /

User-agent: *
Allow: /

Plusieurs lignes User-agent au-dessus d’une règle forment un seul groupe. Un bot n’obéit qu’au groupe le plus spécifique qui le désigne ; GPTBot ignore donc ici complètement le groupe *.

Vous pouvez également ajouter une ligne Content Signal, qui indique votre préférence dans des termes que les entreprises d’IA peuvent analyser :

Content-Signal: search=yes, ai-train=no

Créez votre propre version avec des cases à cocher dans le Générateur de robots.txt pour l’IA.

Erreurs courantes

• Bloquer Googlebot pour arrêter Gemini. Cela vous retire de la recherche Google. Utilisez Google-Extended.
• Oublier que les groupes ne se cumulent pas. Si GPTBot a son propre groupe, les règles sous * ne s’appliquent pas à lui.
• Bloquer uniquement ChatGPT-User. ChatGPT pourra alors toujours indexer votre page, mais pas l’ouvrir quand un utilisateur lui demande de la lire.
• Attendre un effet immédiat. Les crawlers mettent en cache le fichier robots.txt pendant une durée maximale d’une journée, et le contenu déjà collecté n’est pas supprimé.

Quand robots.txt ne suffit pas

robots.txt est une demande, pas un verrou. OpenAI, Anthropic, Google, Apple et Perplexity affirment que leurs crawlers le respectent. Les scrapers qui copient le user-agent d’un bot, en revanche, ne le respectent pas.

Pour imposer un blocage :

1. Utilisez les réglages anti-bots de votre CDN. AI Crawl Control de Cloudflare permet de bloquer les crawlers IA par catégorie, avec une identité vérifiée, et non plus seulement par user-agent.
2. Bloquez par adresse IP vérifiée, et non par nom. OpenAI, Perplexity, Google, Microsoft, Apple et Common Crawl publient des plages d’adresses IP. Anthropic ne le fait pas ; ClaudeBot ne peut donc être bloqué que par son user-agent.
3. Limitez le débit des bots inconnus qui ignorent robots.txt.

Bloquer uniquement par user-agent arrête les bots honnêtes, qui respectent déjà robots.txt, et reste sans effet contre les faux. Vérifiez les adresses IP suspectes avec le Vérificateur d’IP des bots IA.

Vérifiez que cela fonctionne

1. Lancez le Vérificateur de crawlers IA pour voir le verdict pour chaque bot.
2. Après quelques jours, déposez votre log d’accès dans l’Analyseur de logs des bots IA. Les bots d’entraînement bloqués devraient cesser d’apparaître, ou alors récupérer uniquement le fichier /robots.txt.
3. Si un bot « bloqué » continue d’explorer des pages, vérifiez son adresse IP. Il s’agit souvent d’un faux.