Outils
Accès des crawlersAnalyse SEO IA complèteUn seul rapport sur la préparation de votre site à ChatGPT, Gemini et AI Overviews : 40 vérifications, un score et les corrections qui comptent.Vérificateur de visibilité IAChatGPT, Claude, Perplexity, Gemini et Copilot peuvent-ils voir votre page ? Une seula vérification pour tous les moteurs.Audit de site pour l’IAExplorez tout votre site et trouvez chaque page que les crawlers IA ne peuvent pas atteindre, lire ou citer.Analytics des crawlers IA CloudflareConnectez Cloudflare avec un token en lecture seule et voyez le trafic réel de GPTBot, ClaudeBot et PerplexityBot.Vérificateur de sitemapValidez votre sitemap XML et trouvez les URL cassées, redirigées, en noindex ou bloquées pour les bots IA.Vérificateur de crawlers IAVoyez lesquels des 21 bots IA votre robots.txt autorise ou bloque, avec la règle exacte qui décide.Générateur de robots.txt pour l’IAAutorisez la recherche IA, bloquez l’entraînement. Créez un robots.txt pour 21 bots IA en quelques clics.Analyseur de logs des bots IADéposez vos logs serveur et voyez quels bots IA vous explorent, ce qu’ils lisent et lesquels sont des faux.Vérificateur d’IP des bots IAEst-ce vraiment GPTBot ? Vérifiez n’importe quelle adresse IP avec les listes d’IP officielles des crawlers IA et le DNS inverse.
Contenu pour l’IAVérificateur de crawlabilité IAVoyez votre page comme les crawlers IA : HTML brut, sans JavaScript, converti en Markdown.Vérificateur de citabilité IAChatGPT citera-t-il votre page ? Mesurez la facilité avec laquelle l’IA peut reprendre chaque passage.Générateur de query fan-outAIDécouvrez les sous-requêtes cachées que lancent AI Mode et ChatGPT pour une recherche, et celles que votre page couvre.Vérificateur de balisage SchemaAudit complet des données structurées : ce qui est présent, ce qui manque pour ce type de page, ce qui est cassé, et un JSON-LD prêt à coller.Compteur de tokens LLMComptez les tokens GPT de n’importe quel texte ou page web et voyez dans quelles fenêtres de contexte ils tiennent.Générateur de llms.txtGénérez en quelques secondes un llms.txt conforme à la spécification à partir de votre sitemap, puis modifiez-le visuellement.Validateur de llms.txtVérifiez qu’un llms.txt respecte la spécification : structure, liens, doublons et erreurs courantes.
Agents et confianceScanner de prompt injectionTrouvez les instructions cachées pour l’IA sur n’importe quelle page web : texte invisible, commentaires, astuces Unicode, contenu réservé aux bots.Test de compatibilité agents IALes agents IA peuvent-ils trouver, comprendre et utiliser votre site ? Vérifie MCP, A2A, OpenAPI, llms.txt et l’utilisabilité de la page.Vérificateur d’entité de marque IAL’IA connaît-elle votre marque ? Vérifiez la cohérence entre Wikidata, Wikipédia et votre balisage Organization.Suivi du trafic IA dans GA4Suivez les visites venant de ChatGPT, Perplexity, Gemini et Claude dans GA4 avec une regex et une configuration de canal prêtes à l’emploi.
GuidesBlogTracker IATarifs
FR
EnglishENУкраїнськаUADeutschDEFrançaisFR

Générateur de robots.txt pour les bots IA

Choisissez quels crawlers IA peuvent accéder à votre site. Partez d’un préréglage, ajustez chaque bot, puis copiez le fichier à la racine de votre site.

Préréglage
Entraînementcollecte du contenu pour entraîner des modèles d’IA
Rechercheindexe les pages pour les afficher et les citer dans les réponses de l’IA
Requête utilisateurouvre une page lorsqu’une personne le demande à l’assistant
Charger les règles actuelles depuis

Votre robots.txt

Déposez le fichier à la racine de votre domaine : https://votresite.fr/robots.txt
Comment l’utiliser
  1. 1
    Choisissez un préréglage
    « Bloquer l’entraînement, autoriser la recherche » convient à la plupart des sites : votre contenu reste hors des données d’entraînement mais peut toujours être cité.
  2. 2
    Ajustez les bots
    Autorisez ou bloquez n’importe quel bot. Ajoutez votre sitemap et les règles pour les autres crawlers.
  3. 3
    Publiez le fichier
    Enregistrez-le sous le nom robots.txt à la racine de votre site, puis confirmez avec le vérificateur de crawlers IA.
Choisissez une politique, pas seulement des bots
La plupart des sites ont besoin de l’une de ces trois configurations. Le générateur part de ces préréglages et vous laisse ajuster chaque bot.
PolitiqueBots de recherche IABots d’entraînementConvient à
Autoriser toute l’IAautorisésautorisésBlogs, SaaS et documentations qui veulent une portée maximale
Recherche uniquementautorisésbloquésÉditeurs et boutiques qui veulent des citations mais pas d’entraînement
Bloquer toute l’IAbloquésbloquésContenu payant ou sous licence
« Recherche uniquement » est le choix le plus courant : vous gardez les clics venant des réponses de l’IA et refusez l’entraînement des modèles.
Les user-agents IA et leur rôle
User-agentSociétéFinalité
GPTBotOpenAIDonnées d’entraînement pour les modèles GPT
OAI-SearchBotOpenAIIndex pour la recherche ChatGPT
ChatGPT-UserOpenAIOuvre une page lorsqu’un utilisateur le demande
ClaudeBotAnthropicDonnées d’entraînement pour Claude
Claude-SearchBot / Claude-UserAnthropicIndex de recherche / requêtes utilisateur
PerplexityBot / Perplexity-UserPerplexityIndex de recherche / requêtes utilisateur
Google-ExtendedGoogleToken : entraînement et grounding de Gemini, ce n’est pas un crawler
Applebot-ExtendedAppleToken : entraînement d’Apple Intelligence
CCBotCommon CrawlJeu de données ouvert utilisé par de nombreux LLM
BytespiderByteDanceDonnées d’entraînement
Meta-ExternalAgentMetaDonnées d’entraînement pour Llama
robots.txt bloque-t-il vraiment l’IA ?
robots.txt est une convention, pas une barrière technique. OpenAI, Anthropic, Google, Apple et Perplexity déclarent que leurs crawlers le respectent, et les tests sur les logs le confirment.
Les scrapers qui falsifient le user-agent l’ignorent. Pour un blocage strict, bloquez-les dans votre pare-feu et vérifiez les bots par adresse IP. Notre analyseur de logs et notre vérificateur d’IP montrent quels bots sont des faux.
Les changements prennent du temps : les crawlers gardent robots.txt en cache jusqu’à 24 heures, une nouvelle règle n’est donc pas appliquée immédiatement.
Bots polis
Ils lisent robots.txt avant d’explorer et respectent Disallow.
Blocage strict
Règle WAF sur IP vérifiée, par exemple dans Cloudflare.
(cf.verified_bot_category eq "AI Crawler")
Avant de mettre le fichier en ligne
  • Enregistrez-le sous le nom robots.txt à la racine du domaine, pas dans un dossier
  • Un fichier par hôte : www et les sous-domaines ont besoin du leur
  • Conservez votre ligne Sitemap: avec une URL absolue
  • Ne bloquez pas les CSS et JS dont Googlebot a besoin pour le rendu
  • Testez-le avec le vérificateur de crawlers IA après la mise en ligne
  • Revérifiez après les mises à jour du CMS ou des plugins qui réécrivent le fichier
FAQ
Dois-je bloquer les bots IA ?
Cela dépend de vos objectifs. Bloquer les bots de recherche vous retire des réponses de l’IA. La plupart des éditeurs qui veulent du trafic laissent autorisés les bots de recherche et les bots déclenchés par l’utilisateur, et décident séparément pour les bots d’entraînement.
Cela affectera-t-il mon classement dans Google ?
Bloquer Google-Extended n’affecte ni la recherche Google ni AI Overviews. Bloquer Googlebot, si : ce générateur ne touche donc pas à Googlebot ni à Bingbot.
Puis-je conserver mes règles actuelles ?
Oui. Collez-les dans « Règles pour tous les autres crawlers » et elles seront conservées sous User-agent: *.
Autres outils IA
Analyse SEO IA complèteVérificateur de visibilité IAAudit de site pour l’IAAnalytics des crawlers IA CloudflareVérificateur de sitemapVérificateur de crawlers IAAnalyseur de logs des bots IAVérificateur d’IP des bots IA