OpenAI : robots.txt peut ne pas viser ChatGPT-User
Si vous aviez bloqué ChatGPT-User dans le robots.txt pour empêcher ChatGPT d’ouvrir vos pages, cette méthode risque de ne plus fonctionner. Voici comment les trois bots d’OpenAI sont désormais documentés.
La documentation relative aux crawlers d’OpenAI indique désormais que les règles du fichier robots.txt ne s’appliquent pas nécessairement à ChatGPT-User, l’agent qui récupère une page lorsqu’un utilisateur ChatGPT en fait la demande. Les versions précédentes précisaient qu’il était possible de le contrôler via robots.txt.
Ce qui s’est passé
OpenAI documente trois agents :
- GPTBot collecte du contenu pouvant servir à l’entraînement des modèles d’OpenAI. robots.txt s’applique.
- OAI-SearchBot explore le web pour la recherche ChatGPT. OpenAI oriente les propriétaires de sites vers ce bot afin qu’ils puissent gérer l’affichage de leurs pages dans les résultats de recherche.
- ChatGPT-User visite des pages pour le compte d’un utilisateur, par exemple lorsqu’une personne colle un lien ou lorsque ChatGPT navigue pendant la rédaction d’une réponse. Ces requêtes sont traitées comme des requêtes utilisateur.
Cela correspond à la manière dont Google traite les requêtes déclenchées par l’utilisateur. Une source signale également des numéros de version plus récents pour les user-agents GPTBot et OAI-SearchBot. Il s’agit d’un seul signalement.
Ce que cela signifie pour vous
- Pour refuser l’entraînement, bloquez
GPTBot. - Pour rester dans la recherche ChatGPT, autorisez
OAI-SearchBot. - Pour bloquer ChatGPT-User, le fichier robots.txt peut ne pas suffire. Seule une règle de pare-feu permet un blocage absolu, et elle bloque aussi les utilisateurs qui partagent vos liens dans ChatGPT.
Vérifiez la fréquence de visite de chaque bot OpenAI dans vos journaux grâce à l’Analyseur de logs des bots IA.