KI-Crawler-Analyse mit Cloudflare

Ihre Website befindet sich bereits hinter Cloudflare, und Cloudflare erkennt bereits alle KI-Crawler. Verbinden Sie ein schreibgeschütztes Token und wandeln Sie diese Daten innerhalb einer Minute in ein übersichtliches KI-Bot-Dashboard um.

Wie man es benutzt

1
Erstellen Sie ein schreibgeschütztes Token
Erstellen Sie in Cloudflare ein API-Token mit zwei Leseberechtigungen: Zonenlesen und Analytics-Lesen. Dadurch werden keine Änderungen an Ihrem Konto vorgenommen.
2
Fügen Sie es ein und wählen Sie Ihre Website aus.
Wir überprüfen das Token mit Cloudflare, verschlüsseln es und zeigen die Zonen an, die es lesen kann. Wählen Sie die Website aus, die Sie überwachen möchten.
3
KI-Bots nach Tag und Seite anzeigen
Anfragen von mehr als 30 KI-Crawlern, ihr Anteil am gesamten Datenverkehr, die Seiten, die sie am häufigsten lesen, und die Fehler, auf die sie stoßen.

2Nur Leseberechtigung, sonst nichts.

30+Vom Benutzeragenten erkannte KI-Crawler

0Protokolldateien zum Herunterladen oder Hochladen

So funktioniert die Cloudflare Verbindung

Ihr Token verlässt niemals unseren Server und wird nach dem Einfügen auch nie wieder angezeigt.

Sie erstellen ein Token.
In Ihrem Cloudflare-Profil erstellen Sie ein benutzerdefiniertes API-Token mit Zone Read und Analytics Read, das auf die von Ihnen gewählte Website beschränkt ist.
Wir überprüfen und verschlüsseln es.
Wir rufen den Token-Verifizierungsendpunkt von Cloudflare auf und speichern das Token anschließend verschlüsselt mit AES-256-GCM. Es wird niemals wieder an Ihren Browser gesendet.
Wir fragen Cloudflare Analytics.
Bei jedem Öffnen des Dashboards fragen wir die GraphQL Analytics API nach Anfragen ab, deren User-Agent zu einem KI-Crawler gehört.
Sie sehen KI-Bot-Traffic
Anfragen nach Tag und Unternehmen, Anteil am gesamten Datenverkehr, meistgelesene Seiten und die von KI-Bots empfangenen Statuscodes.

Was genau der Token kann und was nicht.

Erlaubnis	Warum wir es brauchen	Was es nicht kann
Zone → Zone → Lesen	Listet die Websites (Zonen) auf, die das Token sehen kann, damit Sie einen auswählen können.	Ändern Sie DNS, SSL, Seitenregeln oder beliebige andere Einstellungen.
Zone → Analysen → Lesen	Liest aggregierte Anfrageanalysen: Benutzeragenten, Pfade, Statuscodes, Datumsangaben.	Besucher-IPs, Cookies oder Formulardaten einsehen oder Firewall-Regeln ändern.
Zone Resources: eine Website	Beschränkt die Gültigkeit des Tokens auf die von Ihnen ausgewählte Website.	Lesen Sie weitere Websites in Ihrem Konto.

Sie können das Token jederzeit in Cloudflare löschen. Durch das Trennen der Verbindung wird auch unsere verschlüsselte Kopie gelöscht.

Was Sie aus dem Dashboard lernen

Wer liest Ihre Website?

GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot, Meta und Amazon Crawler, jeder mit seinem eigenen Unternehmen und Zweck.

Training vs. Suche

Wie viel Traffic trainiert Modelle und wie viele Seiten werden abgerufen, um Live-KI-Antworten zu erhalten, die Sie zitieren können.

Was sie lesen

Die Seiten, die KI-Crawler am häufigsten anfordern. Fehlen Ihre wichtigsten Seiten, sind sie möglicherweise schwer zu finden.

Was geht kaputt?

KI-Bots erhalten 403-, 404- und 5xx-Fehlermeldungen. Eine Firewall-Regel, die OAI-SearchBot blockiert, wird hier zuerst angezeigt.

Sicherheitscheckliste, die wir befolgen

Das Token wird vor dem Speichern bei Cloudflare überprüft.
Gespeichert mit AES-256-GCM verschlüsselt, niemals im Klartext
Nach der Verbindung wurde ich nicht mehr zum Browser zurückgeleitet.
Wird nur für Leseabfragen an die GraphQL Analytics API verwendet.
Ergebnisse werden 30 Minuten lang zwischengespeichert, um die Anzahl der API-Aufrufe zu reduzieren.
Wird zusammen mit Ihrem Konto gelöscht oder wenn Sie die Verbindung trennen

Offizielle Dokumentation

Erstellen Sie ein API-Token

Cloudflare-Leitfaden zu benutzerdefinierten Token und Berechtigungen.

GraphQL Analytics API

Die API, die wir für die Anforderungsanalyse abfragen.

GraphQL API-Beschränkungen

Aufbewahrungs- und Gebührenobergrenzen je nach Tarif.

KI-Crawl-Steuerung

Cloudflare eigene Steuerungselemente für KI-Crawler.

Häufig gestellte Fragen

Ist es sicher, Ihnen ein Cloudflare Token zu geben?

Das von Ihnen erstellte Token verfügt lediglich über zwei Leseberechtigungen: „Zone lesen“ und „Analytics lesen“. Es kann daher weder DNS-Einstellungen noch Firewall-Regeln oder sonstige Einstellungen ändern. Wir verschlüsseln es vor der Speicherung mit AES-256, verwenden es ausschließlich für Ihre Analytics-Abfragen und löschen es nach der Trennung der Verbindung. Sie können es jederzeit in Cloudflare widerrufen.

Funktioniert es auch mit dem kostenlosen Cloudflare Tarif?

Ja. Cloudflare stellt die Analysedaten für alle unsere Tarife bereit, auch für den kostenlosen. Wie viele Tage zurückliegend die Daten angezeigt werden, hängt von Ihrem Cloudflare-Tarif ab; wir lesen das Limit Ihrer Zone aus und zeigen den maximal verfügbaren Wert an.

Worin unterscheidet sich dies vom AI Bot Log Analyzer?

Der Log-Analyzer arbeitet mit Logdateien, die Sie von Ihrem Server herunterladen. Dieses Tool liest dieselben Daten direkt von Cloudflare, ohne dass Dateien exportiert werden müssen, und aktualisiert sich bei jedem Öffnen.

Warum stimmen die Zahlen nicht exakt mit meinen Serverprotokollen überein?

Cloudflare-Analysen basieren auf adaptiven Stichproben auf großen Websites, daher sind die Zählungen Schätzwerte. Anfragen, die Cloudflare aus dem Cache beantwortet, erreichen Ihre Serverprotokolle nicht, werden aber hier angezeigt.

Welchen Tarif benötige ich?

Die Anbindung Cloudflare ist in den Pro und Agency enthalten. Ohne Pro können Sie auf dieser Seite ein Beispiel-Dashboard sehen.

Weitere KI-Tools

KI-SEO-Website-Analyse KI-Sichtbarkeitsprüfung KI-Website-Audit Sitemap-Prüfer für KI-Crawler KI-Crawler-Prüfer KI-robots.txt-Generator KI-Bot-Log-Analysator KI-Bot-IP-Prüfer

KI-Crawler-Analyse mit Cloudflare

Verbinden Sie Ihr Cloudflare Konto.