Wie man KI-Crawler blockiert (und welche nicht)
Die meisten Anleitungen raten dazu, GPTBot zu blockieren und es dabei zu belassen. Das kann durchaus sinnvoll sein, doch wer den falschen Bot blockiert, verpasst KI-Antworten. Hier erfahren Sie, wie Sie den richtigen Bot auswählen.
Was Sie lernen werden
- Der Unterschied zwischen trainierten, suchenden und benutzergesteuerten KI-Bots
- Eine robots.txt, die das Training blockiert, aber KI-Suchzitate beibehält.
- Wann robots.txt nicht ausreicht und wie man es mit einer Firewall durchsetzt.
- Wie man überprüft, ob die Regeln tatsächlich funktionieren
Alle großen KI-Unternehmen betreiben mittlerweile mehrere Crawler mit unterschiedlichen Aufgaben. Wenn Sie verhindern möchten, dass Ihre Inhalte in das Modelltraining einfließen, müssen Sie nicht aus den Antworten ChatGPT oder Perplexity verschwinden. Es genügt, die entsprechenden User-Agents zu blockieren.
Drei Arten von KI-Bots
| Art | Was es tut | Beispiele | Blockieren? |
|---|---|---|---|
| Ausbildung | Sammelt Seiten, um zukünftige Modelle zu trainieren | GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent |
Ihre Wahl |
| Suchen | Erstellt den Index, auf den sich KI-Antworten beziehen. | OAI-SearchBot, Claude-SearchBot, PerplexityBot |
Normalerweise nicht |
| Benutzerausgelöst | Öffnet eine Seite, weil ein Benutzer danach gefragt hat. | ChatGPT-User, Claude-User, Perplexity-User |
Normalerweise nicht |
Zwei weitere sind keine Crawler, sondern Kontroll-Token. Google-Extended weist Google an, Ihre Inhalte nicht für Gemini Training und die Grundausbildung zu verwenden, während Googlebot weiterhin für die Suche crawlt. Applebot-Extended bewirkt dasselbe für Apple Intelligence.
Das Blockieren von Trainings-Bots kostet Sie keinen Traffic: Trainings generieren keine Besucher. Das Blockieren von Such-Bots entfernt Ihre Website aus den Quellen, die der jeweilige Assistent zitiert.
Eine robots.txt, die nur das Training blockiert
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: *
Allow: /Mehrere User-agent -Zeilen oberhalb einer Regel bilden eine Gruppe. Ein Bot befolgt nur die spezifischste Gruppe, die ihn benennt; daher ignoriert GPTBot hier die * -Gruppe vollständig.
Sie können außerdem eine Zeile mit dem Text <a href=“„https://contentsignals.org/">Content Signal“ hinzufügen, in der Sie Ihre Präferenzen für Wörter angeben, die KI-Unternehmen analysieren können:
Content-Signal: search=yes, ai-train=noErstellen Sie Ihre eigene Version mit Kontrollkästchen im KI-robots.txt-Generator.
Häufige Fehler
- Um Gemini zu stoppen, blockieren Sie Googlebot. Dadurch werden Sie von der Google-Suche ausgeschlossen. Verwenden Sie stattdessen
Google-Extended. - Vergessen Sie nicht, dass Gruppen nicht zusammengeführt werden. Wenn
GPTBoteine eigene Gruppe hat, gelten die unter*aufgeführten Regeln nicht für diese. - Es wird nur
ChatGPT-Userblockiert. ChatGPT kann Ihre Seite dann weiterhin aus seinem Index zitieren, aber nicht öffnen, wenn ein Benutzer sie lesen möchte. - Sofortige Ergebnisse werden erwartet. Crawler speichern robots.txt Datei bis zu einem Tag lang im Cache, und bereits gesammelte Inhalte werden nicht gelöscht.
Wenn robots.txt nicht ausreicht
robots.txt ist eine Anfrage, keine Vorgabe. OpenAI, Anthropic, Google, Apple und Perplexity geben an, dass ihre Crawler die robots.txt-Datei berücksichtigen. Scraper, die den User-Agent eines Bots kopieren, tun dies nicht.
Um eine Blockade zu erzwingen:
- Nutzen Sie die Bot-Kontrollfunktionen Ihres CDNs. Mit der KI-Crawl-Kontrolle von Cloudflare können Sie KI-Crawler nicht nur anhand des User-Agents, sondern auch nach Kategorie und verifizierter Identität blockieren.
- Blockierung erfolgt anhand der verifizierten IP-Adresse, nicht anhand des Namens. OpenAI, Perplexity, Google, Microsoft, Apple und Common Crawl veröffentlichen IP-Bereiche. Anthropic tut dies nicht, daher kann ClaudeBot nur über den User-Agent blockiert werden.
- Unbekannte Bots, die robots.txt ignorieren, sollen nur mit einer begrenzten Rate gezählt werden.
Die Blockierung anhand des User-Agents allein stoppt zwar ehrliche Bots, die sich bereits an robots.txt halten, ist aber gegen gefälschte Bots wirkungslos. Überprüfen Sie verdächtige IPs mit dem KI-Bot-IP-Checker.
Prüfen Sie, ob es funktioniert.
- Führen Sie den AI Crawler Checker aus, um das Ergebnis für jeden Bot zu sehen.
- Nach einigen Tagen laden Sie Ihr Zugriffsprotokoll in den AI Bot Log Analyzer hoch. Blockierte Trainingsbots sollten nicht mehr angezeigt werden oder nur noch die Datei
/robots.txtabrufen. - Wenn ein als „blockiert“ gemeldeter Bot weiterhin Seiten durchsucht, überprüfen Sie seine IP-Adresse. Oft handelt es sich um eine Fälschung.