Wie Sie KI-Crawler in Ihren Serverprotokollen sehen können
KI-Crawler führen kein JavaScript aus, daher sind sie für Analysetools unsichtbar. Ihr Server hingegen schon. Hier erfahren Sie, wo Sie nachsehen müssen und was die Zahlen aussagen.
Was Sie lernen werden
- Warum GA4 und andere Analysetools KI-Crawler nicht anzeigen können
- Wo finde ich Protokolle für gängige Hosting-Konfigurationen?
- Welche Felder und Zahlen sind für KI-Crawler wichtig?
- Wie man aus Rohdaten einen Wochenbericht erstellt
GA4, Plausible und ähnliche Tools funktionieren, indem sie ein Skript im Browser des Besuchers ausführen. KI-Crawler wie GPTBot, ClaudeBot und PerplexityBot laden Ihren HTML-Code herunter und führen dieses Skript niemals aus. Für Analysetools sind sie unsichtbar.
Die einzige vollständige Aufzeichnung der Aktivitäten des KI-Crawlers befindet sich auf der Serverseite: Zugriffsprotokolle, CDN-Protokolle oder ein kleines Stück Servercode, das Bot-Anfragen meldet.
Wo finde ich die Protokolle?
| Aufstellen | Wo sich die Protokolle befinden |
|---|---|
| Nginx oder Apache auf Ihrem eigenen Server | access.log befindet sich üblicherweise in /var/log/nginx/ oder /var/log/apache2/ |
| Shared Hosting (cPanel und ähnliche) | Abschnitt „Rohdatenzugriff“ oder „Protokolle“ des Bedienfelds |
| Cloudflare | Sicherheitsanalysen, KI-gestützte Crawl-Steuerung oder die GraphQL-Analyse-API |
| Vercel, Netlify und andere Plattformen | Protokolldateien oder die Anforderungsprotokolle der Plattform, oft mit kurzer Aufbewahrungsdauer. |
| WordPress ohne Serverzugriff | Ein Plugin oder ein kleines Code-Snippet, das Bot-Anfragen aufzeichnet. |
Die Protokolle vieler Server werden nur wenige Tage lang aufbewahrt. Exportieren Sie sie regelmäßig, wenn Sie Trends erkennen möchten.
Worauf man achten sollte
Jede Logzeile enthält die benötigten Felder: Zeit, IP-Adresse, Anfragepfad, Statuscode und User-Agent. Für KI-Crawler sind fünf Zahlen relevant:
- Anfragen pro Bot und Tag. Welche Unternehmen crawlen Ihre Seite, und nimmt diese Zahl zu?
- Zwecktrennung. Trainingsbots (
GPTBot,ClaudeBot,CCBot) versus Such- und Benutzerbots (OAI-SearchBot,Claude-SearchBot,PerplexityBot,ChatGPT-User). Besuche von Suchbots führen zu Zitationen. - Am häufigsten gecrawlte Seiten. Wenn Bots hauptsächlich Tag-Seiten, Filter oder alte URLs besuchen, werden Ihre wichtigen Inhalte möglicherweise nicht gecrawlt.
- Statuscodes. Ein hoher Anteil an 403-, 404- oder 5xx-Antworten bedeutet, dass Bots blockiert werden oder auf defekte Seiten stoßen.
- Verifizierte versus behauptete IP-Adressen. Anfragen, deren IP-Adresse nicht mit den vom Anbieter veröffentlichten Bereichen übereinstimmt, sind gefälscht. Diese werden separat gezählt.
Eine schnelle Überprüfung über die Kommandozeile
Auf einem Server mit Nginx zählt dies die Anfragen pro KI-Bot im heutigen Protokoll:
grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Google-Extended|Bytespider|CCBot|Amazonbot" /var/log/nginx/access.log | sort | uniq -c | sort -rnEs werden nur Übereinstimmungen mit dem User-Agent gezählt, daher werden auch gefälschte Bots mitgezählt.
Vom Protokoll zum wöchentlichen Bericht
Rohdaten sind jede Woche schwer auszuwerten. Drei Möglichkeiten, sie praktikabel zu gestalten:
- Laden Sie eine Protokolldatei in den KI-Bot-Log-Analysator hoch. Dieser findet KI-Bots, überprüft deren IP-Adressen und zeigt die meistbesuchten Seiten und Fehler an.
- Verbinden Sie Cloudflare mit einem schreibgeschützten Token in KI-Crawler-Analyse mit Cloudflare um Crawler-Anfragen aus Ihrer Zone nach Bot und Tag anzuzeigen.
- Installieren Sie den BotReady KI-Tracker. Ein kleines Server-Snippet protokolliert jede Anfrage des KI-Crawlers mit zugehöriger Seite und Status, und ein Skript-Tag zählt die Besucher von ChatGPT, Perplexity und Gemini. Beides wird in einem Dashboard angezeigt.
Verbinde Crawling mit dem Datenverkehr
Das Crawling ist nur der erste Schritt. Entscheidend ist die Frage, welche gecrawlten Seiten später von KI-gestützten Suchmaschinen besucht werden. Seiten, die zwar häufig von Suchmaschinen-Bots gelesen werden, aber nie KI-Besucher erhalten, benötigen möglicherweise klarere Beschreibungen oder eine bessere Struktur. Seiten, die KI-Besucher erhalten, zeigen, welchen Inhalten die KI-Suche auf Ihrer Website vertraut.