OpenAI: robots.txt gilt evtl. nicht für ChatGPT-User
Wenn Sie ChatGPT-User in robots.txt blockiert haben, um ChatGPT fernzuhalten, funktioniert das möglicherweise nicht mehr. Hier finden Sie die aktuelle Dokumentation der drei OpenAI-Bots.
Die Dokumentation des OpenAI-Crawlers besagt nun, dass robots.txt Regeln möglicherweise nicht für ChatGPT-User gelten, den Agenten, der eine Seite abruft, wenn ein ChatGPT Nutzer danach fragt. Frühere Versionen beschrieben ihn als über robots.txt steuerbar.
Was ist passiert
OpenAI dokumentiert drei Agenten:
- GPTBot sammelt Inhalte, die zum Trainieren von OpenAI-Modellen verwendet werden können. robots.txt findet Anwendung.
- OAI-SearchBot durchsucht ChatGPT nach Suchergebnissen. OpenAI verweist Website-Betreiber auf diesen Bot, damit diese steuern können, ob ihre Seiten in den Suchergebnissen erscheinen.
- ChatGPT-User ruft Seiten im Namen eines Benutzers auf, beispielsweise wenn jemand einen Link einfügt oder ChatGPT während einer Antwort im Internet surft. Diese Abrufe werden wie Benutzeranfragen behandelt.
Dies entspricht Googles Vorgehen bei nutzergesteuerten Suchvorgängen. Eine Quelle berichtet außerdem von neueren Versionsnummern in den User-Agents GPTBot und OAI-SearchBot. Dies ist ein einzelner Bericht.
Was das für Sie bedeutet
- Um nicht am Training teilzunehmen, deaktivieren Sie
GPTBot. - Um in der ChatGPT Suche zu bleiben, erlauben Sie
OAI-SearchBot. - Um ChatGPT-User zu blockieren, reicht robots.txt möglicherweise nicht aus. Eine Firewall-Regel ist die einzige dauerhafte Blockade und verhindert zudem, dass Benutzer Ihre Links in ChatGPT teilen.
Mit dem KI-Bot-Log-Analysator können Sie überprüfen, wie häufig die einzelnen OpenAI-Bots Ihre Protokolle besuchen.