IETF-Standard Content-Usage: der Stand
Eine Standardformulierung für „Suche ja, Schulung nein“ ist fast fertig, aber noch nicht endgültig. Hier ist, was die IETF-Entwürfe definieren und warum man sich noch nicht darauf verlassen kann.
Die IETF-Arbeitsgruppe AI Preferences (aipref) erarbeitet einen Standard, mit dem Website-Betreiber festlegen können, wie KI-Systeme ihre Inhalte nutzen dürfen.
Was ist passiert
Es gibt zwei Hauptdokumente:
- Vokabular: definiert Nutzungskategorien, einschließlich
train-aiundsearch, die jeweils auf erlaubt, verboten oder unbekannt gesetzt sind. - Anhang: Definiert, wo diese Einstellungen platziert werden sollen, mit einer neuen
Content-UsageRegel in robots.txt (zum BeispielContent-Usage: train-ai=n) und einem HTTP-Header.
Die Arbeitsgruppe hatte sich zum Ziel gesetzt, beide Entwürfe etwa im August 2026 dem IESG zur Veröffentlichung vorzulegen; die Überarbeitungen wurden anschließend fortgesetzt. Stand November 2026 handelt es sich noch immer um Entwürfe, nicht um RFCs. Es existieren auch separate Vorschläge, wie beispielsweise eine ai.txt Datei.
Was das für Sie bedeutet
- Das Hinzufügen einer Content-Usage-Zeile wird nichts kaputt machen, da Crawler Regeln ignorieren, die sie nicht verstehen. Verlassen Sie sich aber nicht darauf, dass sie bereits beachtet wird.
- Die Regeln des User-Agents sind nach wie vor entscheidend. Das Blockieren
GPTBotoderClaudeBotist derzeit die zuverlässigste Methode, um das Training von Such-Bots zu verhindern und gleichzeitig die Suchmaschinen zuzulassen. - Achten Sie auf die zukünftige Übernahme. Sobald die großen Crawler ihre Unterstützung ankündigen, wird eine einzige Zeile für alle die Aussage „Suche ja, Training nein“ enthalten.
Erstellen Sie mit dem KI-robots.txt-Generator individuelle Regeln für jeden Bot.