robots.txt-Generator für KI-Bots
Wählen Sie aus, welche KI-Bots Ihre Website durchsuchen dürfen. Beginnen Sie mit einer Voreinstellung, passen Sie jeden Bot individuell an und kopieren Sie die Datei anschließend in das Stammverzeichnis Ihrer Website.
Ihre robots.txt
Laden Sie die Datei in das Stammverzeichnis Ihrer Domain hoch: https://yoursite.com/robots.txt
Wie man es benutzt
- 1
Wählen Sie eine Voreinstellung
„Training blockieren, Suche zulassen“ eignet sich für die meisten Websites: Ihre Inhalte bleiben aus den Trainingsdaten heraus, können aber trotzdem zitiert werden.
- 2
Bots feinabstimmen
Legen Sie für jeden Bot fest, ob er zugelassen oder blockiert ist. Fügen Sie Ihre Sitemap und Regeln für andere Crawler hinzu.
- 3
Veröffentlichen Sie die Datei
Speichern Sie die Datei als robots.txt im Stammverzeichnis Ihrer Website und überprüfen Sie sie anschließend mit dem AI Crawler Checker.
Wählen Sie eine Richtlinie, nicht nur Bots.
Die meisten Websites benötigen eine von drei Konfigurationen. Der Generator verwendet diese Voreinstellungen und ermöglicht die Anpassung einzelner Bots.
| Politik | KI-Suchbots | Trainingsbots | Gut für |
|---|---|---|---|
| Alle KI-Systeme zulassen | erlaubt | erlaubt | Blogs, SaaS-Lösungen und Dokumente, die maximale Reichweite anstreben |
| Nur suchen | erlaubt | blockiert | Verlage und Geschäfte, die Zitate, aber keine Schulungen wünschen. |
| Alle KI-Systeme blockieren | blockiert | blockiert | Inhalte hinter einer Bezahlschranke oder mit Lizenz |
Die häufigste Option ist die reine Suche: Man behält die Klicks der KI-Antworten und verzichtet auf das Modelltraining.
KI-Benutzeragenten und was sie tun
| Benutzeragent | Unternehmen | Zweck |
|---|---|---|
GPTBot | OpenAI | Trainingsdaten für GPT-Modelle |
OAI-SearchBot | OpenAI | Index für ChatGPT Suche |
ChatGPT-User | OpenAI | Öffnet eine Seite, wenn ein Benutzer dies anfordert. |
ClaudeBot | Anthropisch | Trainingsdaten für Claude |
Claude-SearchBot / Claude-User | Anthropisch | Suchindex / Benutzerabrufe |
PerplexityBot / Perplexity-User | Perplexity | Suchindex / Benutzerabrufe |
Google-Extended | Token: Gemini-Training und Grounding, kein Crawler | |
Applebot-Extended | Apfel | Token: Apple Intelligence-Schulung |
CCBot | Gemeinsamer Crawl | Offener Datensatz, der von vielen LLMs verwendet wird |
Bytespider | ByteDance | Trainingsdaten |
Meta-ExternalAgent | Meta | Trainingsdaten für Lama |
Verhindert robots.txt wirklich KI?
robots.txt ist eine Konvention, keine zwingende Vorgabe. OpenAI, Anthropic, Google, Apple und Perplexity geben an, dass ihre Crawler diese Konvention befolgen, und unsere Log-Tests bestätigen dies.
Web-Scraper, die einen gefälschten User-Agent verwenden, ignorieren diesen. Für eine strikte Durchsetzung blockieren Sie diese in Ihrer Firewall und überprüfen Sie Bots anhand ihrer IP-Adresse. Unser Log-Analyzer und IP-Checker zeigen Ihnen, wer einen gefälschten User-Agent verwendet.
Änderungen brauchen Zeit: Crawler speichern robots.txt bis zu 24 Stunden lang im Cache, daher wird eine neue Regel nicht sofort angewendet.
Lesen Sie robots.txt vor dem Crawling und beachten Sie Disallow.
WAF-Regel anhand verifizierter IP-Adressen, beispielsweise in Cloudflare.
(cf.verified_bot_category eq "AI Crawler")Bevor Sie die Datei hochladen
- Speichern Sie die Datei als
robots.txtim Stammverzeichnis der Domain, nicht in einem Ordner. - Eine Datei pro Host:
wwwund Subdomains benötigen ihre eigene Datei. - Behalten Sie Ihre
Sitemap:Zeile mit einer absoluten URL bei. - Blockieren Sie nicht CSS und JS, die Googlebot zum Rendern benötigt.
- Testen Sie es nach dem Hochladen mit dem KI-Crawler-Checker.
- Nach CMS- oder Plugin-Updates, die die Datei überschreiben, erneut prüfen.
Häufig gestellte Fragen
Soll ich KI-Bots blockieren?
Das hängt von Ihren Zielen ab. Wenn Sie Such-Bots blockieren, werden Sie von KI-Antworten ausgeschlossen. Die meisten Publisher, die Traffic generieren möchten, lassen Such- und Nutzer-Bots zu und entscheiden separat über das Trainieren von Bots.
Wird sich das auf das Google-Ranking auswirken?
Das Blockieren Google-Extended hat keine Auswirkungen auf die Google-Suche oder AI Overviews. Das Blockieren Googlebot hingegen schon, daher lässt dieser Generator Googlebot und Bingbot unberührt.
Kann ich meine bestehenden Regeln beibehalten?
Ja. Fügen Sie sie unter „Regeln für alle anderen Crawler“ ein, dann bleiben sie unter User-agent: * erhalten.