Immer mehr Sperren für KI-Crawler: Q3 2026
Immer mehr Websites blockieren KI-Crawler, sowohl in robots.txt als auch an der Firewall. Die Zahlen variieren je nach Studie, aber die Tendenz ist dieselbe.
Neue Studien aus dem dritten Quartal 2026 deuten in dieselbe Richtung: Immer mehr Websites blockieren KI-Crawler.
Was ist passiert
- Eine Analyse ergab, dass im dritten Quartal 2026 13,47 % der Anfragen von KI-Bots mit dem Fehlercode 403 (Verboten) beantwortet wurden, gegenüber 5,98 % im Vorjahr. Ein 403-Fehler deutet in der Regel auf ein Problem mit der Firewall oder einer Bot-Verwaltungsregel hin, nicht auf robots.txt.
- Eine Studie der 10.000 meistbesuchten Websites von Tranco ergab, dass 14,3 % der gültigen robots.txt Dateien GPTBot von der gesamten Website blockieren und 13,4 % ClaudeBot blockieren.
- Cloudflare hat im Oktober 2026 die Klassifizierung von Trainings- und Suchcrawlern überarbeitet, daher sind Vergleiche der Crawler-Anteile im Jahresvergleich mit Vorsicht zu genießen.
Diese Zahlen stammen von unabhängigen Anbietern, nicht von OpenAI, Anthropic oder Cloudflare.
Was das für Sie bedeutet
Das Risiko besteht darin, mehr zu blockieren als beabsichtigt. Trainingsbots ( GPTBot, ClaudeBot, Google-Extended ) und Such- bzw. Nutzerbots ( OAI-SearchBot, Claude-SearchBot, ChatGPT-User, PerplexityBot ) sind voneinander getrennt. Wenn Sie die Trainingsbots blockieren, werden Ihre Inhalte nicht in das Training einbezogen. Wenn Sie die Such- bzw. Nutzerbots blockieren, erhalten Sie keine KI-Antworten mehr.
Überprüfen Sie auch Ihre Firewall. Eine CDN-Regel kann einen 403-Fehler an einen Bot zurückgeben, der in Ihrer robots.txt zugelassen ist.
Der KI-Sichtbarkeitsprüfung testet robots.txt und Firewall-Antworten für jeden wichtigen KI-Bot.