Tools
Crawler-ZugriffKI-SEO-Website-AnalyseEin Bericht darüber, wie gut Ihre Website für ChatGPT, Gemini und AI Overviews gerüstet ist: 40 Prüfungen, eine Bewertung und die wichtigsten Korrekturen.KI-SichtbarkeitsprüfungKönnen ChatGPT, Claude, Perplexity, Gemini und Copilot Ihre Seite sehen? Eine Überprüfung, jedes Triebwerk.KI-Website-AuditDurchsuchen Sie Ihre gesamte Website und finden Sie jede Seite, die KI-Crawler nicht lesen, zitieren oder erreichen können.KI-Crawler-Analyse mit CloudflareVerbinden Sie Cloudflare mit einem schreibgeschützten Token und sehen Sie den echten Datenverkehr GPTBot, ClaudeBot und PerplexityBot.Sitemap-Prüfer für KI-CrawlerÜberprüfen Sie Ihre XML-Sitemap und finden Sie URLs, die defekt, umgeleitet, nicht indexiert oder für KI-Bots blockiert sind.KI-Crawler-PrüferFinden Sie heraus, welche der 21 KI-Bots Ihre robots.txt zulässt oder blockiert, und sehen Sie sich die genaue Regel an, die dies entscheidet.KI-robots.txt-GeneratorKI-Suche zulassen, KI-Training blockieren. Erstellen Sie mit wenigen Klicks eine robots.txt für 21 KI-Bots.KI-Bot-Log-AnalysatorLaden Sie Serverprotokolle hoch und sehen Sie, welche KI-Bots Ihre Seite durchsuchen, was sie lesen und welche davon gefälscht sind.KI-Bot-IP-PrüferHandelt es sich wirklich um GPTBot? Überprüfen Sie jede IP-Adresse anhand offizieller IP-Listen von KI-Crawlern und Reverse-DNS.
Inhalte für KIKI-CrawlbarkeitsprüfungBetrachten Sie Ihre Seite so, wie KI-Crawler sie betrachten: als reines HTML, ohne JavaScript, konvertiert in Markdown.KI-ZitierprüfungWird ChatGPT Ihre Seite zitieren? Bewerten Sie jeden Abschnitt danach, wie einfach er für die KI zu zitieren ist.Query-Fan-Out-GeneratorAISehen Sie die versteckten Unterabfragen, AI Mode und ChatGPT für eine Suche ausführen, und welche davon Ihre Seite abdeckt.Schema-Markup-PrüferVollständiges Audit strukturierter Daten: Welches JSON-LD ist vorhanden, was fehlt für diesen Seitentyp, was ist falsch, plus fertiger Code.LLM Token-ZählerZählen Sie die GPT-Tokens in einem beliebigen Text oder einer Webseite und ermitteln Sie, in welche Kontextfenster sie passen.llms.txt-GeneratorErstellen Sie in Sekundenschnelle eine spezifikationskonforme llms.txt aus Ihrer Sitemap und bearbeiten Sie diese anschließend visuell.llms.txt-ValidatorÜberprüfen Sie jede llms.txt anhand der Spezifikation: Struktur, Links, Duplikate und häufige Fehler.
Agenten & VertrauenPrompt-InjektionsscannerFinden Sie versteckte Anweisungen für KI auf jeder Webseite: unsichtbarer Text, Kommentare, Unicode-Tricks, Inhalte, die nur Bots nutzen können.Bereitschaftsprüfung für KI-AgentenKönnen KI-Agenten Ihre Website finden, verstehen und nutzen? Prüft MCP, A2A, OpenAPI, llms.txt und Seitennutzbarkeit.KI-EntitätsprüfungKennt die KI Ihre Marke? Überprüfen Sie Wikidata, Wikipedia und Ihr Organisationsschema auf Konsistenz.KI-Referral-Traffic-TrackerBesuche von ChatGPT, Perplexity, Gemini und Claude in GA4 mit einem fertigen regulären Ausdruck und Kanal-Setup verfolgen.
RatgeberBlogKI-TrackerPreise
DE
EnglishENУкраїнськаUADeutschDEFrançaisFR
KI-CrawlerBotReady Team

Die drei Crawler von Anthropic erklärt

Wenn du ClaudeBot blockierst, wirst du nicht mehr aus Claude Suchergebnissen entfernt, Claude-SearchBot hingegen schon. So funktioniert die Aufteilung der Bots von Anthropic.

Die Dokumentation des Anthropic-Crawlers listet drei separate Bots auf, jeder mit einem eigenen User-Agent, den Sie in der robots.txt zulassen oder blockieren können. Berichten zufolge wurde die Dokumentation Ende Februar 2026 aktualisiert. Die vorherige Version beschrieb nur ClaudeBot.

Was ist passiert

  • ClaudeBot sammelt öffentlich zugängliche Webinhalte, um die Modelle von Anthropic zu trainieren.
  • Claude-SearchBot durchsucht Webseiten, um Inhalte für die Suche zu indexieren, damit Claude Seiten in Antworten finden und zitieren kann. Anthropic warnt davor, dass das Blockieren von Claude-SearchBot Ihre Sichtbarkeit und Genauigkeit in den Suchergebnissen beeinträchtigen kann.
  • Claude-User ruft eine Seite ab, wenn ein Benutzer Claude danach fragt.

Die älteren User-Agents Claude-Web und anthropic-ai werden nicht mehr unterstützt. Anthropic veröffentlicht die von seinen Bots verwendeten IP-Adressbereiche, sodass Sie überprüfen können, ob eine Anfrage, die vorgibt, von Claude zu stammen, tatsächlich von Anthropic kommt.

Was das für Sie bedeutet

  • Training blockieren, Suche beibehalten: ClaudeBot verbieten und Claude-SearchBot und Claude-User zulassen.
  • Überprüfen Sie die alten Regeln. Eine robots.txt, die nur anthropic-ai blockiert, ist heute wirkungslos.
  • Prüfen Sie die Angaben, bevor Sie ihnen vertrauen. Web-Scraper geben sich oft als ClaudeBot aus. Vergleichen Sie die IP-Adressen der Anfragen mit den veröffentlichten IP-Adressbereichen von Anthropic.

Der KI-Bot-IP-Prüfer teilt Ihnen mit, ob eine IP-Adresse tatsächlich dem Bot gehört, als der sie sich ausgibt.

Quellen

  1. Search Engine Journal
  2. Momentic, AI crawler list (October 2026)

Überprüfen Sie Ihre Website

KI-Crawler-PrüferFinden Sie heraus, welche der 21 KI-Bots Ihre robots.txt zulässt oder blockiert, und sehen Sie sich die genaue Regel an, die dies entscheidet.KI-robots.txt-GeneratorKI-Suche zulassen, KI-Training blockieren. Erstellen Sie mit wenigen Klicks eine robots.txt für 21 KI-Bots.KI-Bot-IP-PrüferHandelt es sich wirklich um GPTBot? Überprüfen Sie jede IP-Adresse anhand offizieller IP-Listen von KI-Crawlern und Reverse-DNS.