KI-Crawler-Prüfer
Prüfen Sie, welche KI-Crawler Ihre robots.txt zulässt. Wir bewerten jede Regel auf dieselbe Weise wie Crawler: Die spezifischste User-Agent-Gruppe und der längste übereinstimmende Pfad gewinnen.
Wie man es benutzt
- 1
Geben Sie Ihre Website oder eine Seite ein
Wir laden die Datei robots.txt aus dem Stammverzeichnis und prüfen den von Ihnen eingegebenen Pfad.
- 2
Überprüfen Sie die Bot-Tabelle
Jeder KI-Bot zeigt an, ob er erlaubt oder blockiert ist, welchen Zweck er erfüllt und welche Regel diese Entscheidung getroffen hat.
- 3
Passen Sie Ihre Regeln an
Mit dem KI-robots.txt-Generator können Sie Such-Bots mit einem Klick zulassen und Trainings-Bots blockieren.
Drei Ebenen entscheiden darüber, ob ein Bot Zugang erhält.
Ein KI-gestützter Crawler, der nur robots.txt Datei prüft, erfasst nur die halbe Wahrheit. Ein Bot kann in der robots.txt Datei zugelassen sein und trotzdem von Ihrer Firewall blockiert werden, oder er kann zwar Zugriff erhalten, aber anschließend angewiesen werden, die Seite nicht zu nutzen.
Wir überprüfen alle drei Ebenen für jeden KI-Bot und zeigen die erste an, die ihn stoppt.
Eine höfliche Bitte. Große KI-Unternehmen befolgen sie.
User-agent: GPTBot
Disallow: /Strenge Durchsetzung: Der Bot erhält 403, 429 oder eine Challenge.
HTTP/2 403
cf-mitigated: challengeMeta-Tags und Header, die die Indexierung oder den Einsatz von KI einschränken.
X-Robots-Tag: noindexKI-Abmeldesignale, die wir lesen
Neben robots.txt gibt es mehrere neuere Standards, die KI-Unternehmen vorschreiben, wie Inhalte verwendet werden dürfen. Die Unterstützung variiert stark, daher stellen wir jeden einzelnen separat vor.
| Signal | Wo es lebt | Beispiel | Wer liest es? |
|---|---|---|---|
| robots.txt | /robots.txt | User-agent: CCBot | Alle wichtigen KI-Crawler |
| Inhaltssignal | robots.txt | Content-Signal: search=yes, ai-train=no | Cloudflare-Vorschlag, früh |
| noai, noimageai | Meta-Roboter | <meta name="robots" content="noai"> | Einige Bild- und Kunstplattformen |
| TDMRep | header, meta oder /.well-known/tdmrep.json | tdm-reservation: 1 | EU-Opt-out-Option für Text- und Datensammlung |
| ai.txt | /ai.txt | User-Agent: * / Disallow: *.jpg | Laichen und Partner |
In der EU ist TDMRep eine maschinenlesbare Methode, um Text- und Data-Mining-Rechte gemäß der DSM-Urheberrechtsrichtlinie zu reservieren.
Häufige Fehler in robots.txt Datei bei KI-Bots
Hat GPTBot eine eigene Gruppe, ignoriert er alles unter User-agent: *. Wiederholen Sie gemeinsame Regeln in jeder Gruppe.
Dadurch werden Sie von der Google-Suche abgemeldet. Verwenden Sie das Google-Extended -Token, um sich ausschließlich vom Gemini Training abzumelden.
Disallow: /Blog/ blockiert /blog/ nicht.
Disallow: ohne Pfad bedeutet „nichts wird blockiert“. Verwenden Sie /, um die gesamte Website zu blockieren.
Viele Crawler behandeln einen Serverfehler in der robots.txt als „Nicht crawlen“, bis der Server wieder funktioniert.
KI-Suche zulassen, KI-Training blockieren
Die beliebteste Vorgehensweise: Sichtbarkeit in ChatGPT, Claude und Perplexity-Antworten beibehalten, während gleichzeitig auf das Modelltraining verzichtet wird.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
Content-Signal: search=yes, ai-train=noErstellen Sie Ihre eigene Version mit Kontrollkästchen im KI-robots.txt-Generator.
Standards
Häufig gestellte Fragen
Wie wird robots.txt für KI-Bots ausgewertet?
Ein Crawler nutzt die Gruppe, die sein Token nennt (zum Beispiel „GPTBot“). Gibt es keine, gilt „User-agent: *“. Innerhalb der Gruppe gewinnt der längste passende Allow- oder Disallow-Pfad, bei Gleichstand gewinnt Allow.
Was passiert, wenn ich keine robots.txt habe?
Wenn robots.txt Statuscode 404 zurückgibt, gehen Crawler davon aus, dass alles erlaubt ist. Bei einem 5xx-Fehler behandeln viele Crawler die gesamte Website als blockiert, bis sie wieder erreichbar ist.
Beachten alle KI-Bots robots.txt Datei?
Große Anbieter wie OpenAI, Anthropic, Google, Perplexity und Apple geben an, dass ihre Crawler robots.txt befolgen. Bots, die Seiten auf Anfrage eines Nutzers abrufen, können sich jedoch anders verhalten. Bitte prüfen Sie die Dokumentation des jeweiligen Anbieters.