KI-Bot-Log-Analysator
Sehen Sie, wie KI-Crawler Ihre Website tatsächlich nutzen. Senden Sie uns ein Server-Log: Wir finden über 30 KI-Bots, verifizieren sie anhand offizieller IP-Listen und zeigen Ihnen, welche Daten sie crawlen. Es werden keine Daten hochgeladen.
Wie man es benutzt
- 1
Exportieren Sie Ihr Zugriffsprotokoll
Laden Sie die Datei access.log von Ihrem Server, Hosting-Panel oder CDN herunter. Gzip-komprimierte Dateien funktionieren ebenfalls.
- 2
Hier ablegen
Die Datei wird in Ihrem Browser analysiert. Wir erkennen KI-User-Agents und überprüfen jede IP-Adresse anhand der veröffentlichten Liste des Anbieters.
- 3
Auf den Bericht reagieren
Blockieren Sie gefälschte Bots, beheben Sie Fehler, auf die KI-Crawler stoßen, und stellen Sie sicher, dass Ihre wichtigsten Seiten gecrawlt werden.
Wie der Analysator Ihr Protokoll liest
- Streamen Sie die Datei
Große und gezippte Protokolldateien werden in Blöcken gelesen, sodass eine 1 GB große Datei den Tab nicht einfriert.
- Finde KI-Bots
Der User-Agent jeder Zeile wird mit über 30 KI-Crawler-Mustern abgeglichen.
- IP-Adresse überprüfen
Die Treffer werden mit den vom Anbieter veröffentlichten IP-Bereichen abgeglichen: echte, gefälschte oder nicht aufgeführte IPs.
- Erstellen Sie den Bericht
Bots, Seiten, Statuscodes und Zugriffe pro Tag, bereit zum Export als CSV-Datei.
Was uns eine Logline verrät
Dies ist eine typische kombinierte Logzeile von Nginx oder Apache. Wir lesen die IP-Adresse, das Datum, die URL, den Status und den User-Agent aus.
20.171.207.13 - - [08/Nov/2026:10:14:02 +0000] "GET /pricing HTTP/1.1" 200 18432 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)"
└── IP: checked against openai.com/gptbot.json └── user agent: GPTBot → training crawlerWo Sie Ihr Zugriffsprotokoll finden
| Plattform | Wo man es finden kann |
|---|---|
| Nginx | /var/log/nginx/access.log (ältere Dateien als .gz ) |
| Apache | /var/log/apache2/access.log oder /var/log/httpd/access_log |
| cPanel-Hosting | Metriken → Rohdatenzugriff → Archiv herunterladen |
| Cloudflare | Logpush an R2 oder S3 als JSON-Zeilen (Felder ClientIP, ClientRequestUserAgent ) |
| Vercel, Netlify | Protokolle werden in einen Speicherbehälter geleitet und anschließend exportiert. |
Worauf Sie im Bericht achten sollten
Ein „ GPTBot “ von einer privaten oder Tor-IP-Adresse, der /wp-login.php aufruft, ist ein Web-Scraper. Blockieren Sie die IP-Adresse, nicht den Bot-Namen.
Viele 404 oder 5xx auf gecrawlten Seiten bedeuten, dass KI-Systeme eine fehlerhafte Ansicht Ihrer Website haben.
Trainings-Bots übernehmen Inhalte, ohne Besucher zu senden. Such-Bots können Zitate liefern. Vergleichen Sie ihren Anteil.
Wenn KI-Bots ihre Besuche auf Tag-Seiten und Filtern verbringen, werden Ihre wichtigsten Seiten möglicherweise nie gelesen.
Ein plötzlicher Anstieg der Zugriffe pro Tag deutet oft auf einen neuen Bot oder einen Crawler hin, der in einer URL-Schleife feststeckt.
Bytespider oder Meta-ExternalAgent können ressourcenintensiv sein. Entscheiden Sie in robots.txt ob Sie diese zulassen möchten.
Häufig gestellte Fragen
Wird meine Protokolldatei irgendwo hochgeladen?
Nein. Die Datei wird von JavaScript in Ihrem Browser gelesen und verarbeitet. Lediglich die öffentlichen IP-Adressbereiche werden von unserem Server heruntergeladen.
Welche Protokollformate werden unterstützt?
Kombinierte/gängige Formate von Apache und Nginx, die meisten CDN-Exporte und JSON-Zeilen mit Feldern wie ClientIP und ClientRequestUserAgent ( Cloudflare ) werden ebenfalls analysiert. Zeilen in anderen Formaten werden weiterhin nach Bot-Namen und IP-Adressen durchsucht.
Wie erkennt man gefälschte KI-Bots?
OpenAI, Perplexity, Google, Microsoft, Apple, Common Crawl und DuckDuckGo veröffentlichen die IP-Adressbereiche, die ihre Crawler verwenden. Anfragen, die vorgeben, von GPTBot zu stammen, aber von einer IP-Adresse außerhalb dieser Liste kommen, sind gefälscht.
Warum kann ClaudeBot nicht verifiziert werden?
Anthropic und einige andere Anbieter veröffentlichen keine IP-Listen, daher werden diese Treffer als „keine öffentliche IP-Liste“ anstatt als verifiziert oder gefälscht angezeigt.