Wie man echte KI-Bots erkennt und gefälschte entlarvt

Jede Anfrage enthält einen User-Agent Header, und jedes Programm kann diesen beliebig setzen. Wenn ein Web-Scraper dort GPTBot einträgt, kann Ihr Server allein anhand des Headers keinen Unterschied feststellen. Das ist in drei Situationen relevant:

• Sie lassen KI-Suchbots durch eine Firewall und wollen nicht, dass Web-Scraper diese Regel ausnutzen;
• Sie analysieren Protokolle und wollen echte KI-Crawler-Zahlen, keine aufgeblähten;
• Sie blockieren KI-Trainingsbots und möchten wissen, ob der blockierte Datenverkehr überhaupt real war.

Zwei Möglichkeiten zur Überprüfung eines Crawlers

1. Veröffentlichte IP-Bereiche

Die meisten KI-Unternehmen veröffentlichen die IP-Adressen ihrer Bots als JSON-Dateien. Eine Anfrage ist nur dann legitim, wenn ihre IP-Adresse innerhalb der für diesen Bot veröffentlichten Bereiche liegt.

Unternehmen	Bots	Wo die Bereiche liegen
OpenAI	GPTBot, OAI-SearchBot, ChatGPT-User	Eine JSON-Datei pro Bot, verlinkt aus der Crawler-Dokumentation von OpenAI.
Anthropisch	ClaudeBot, Claude-SearchBot, Claude-User	Eine JSON-Datei, die von der Crawler-Seite von Anthropic verlinkt ist.
Perplexity	PerplexityBot, Perplexity-User	JSON-Dateien, die in der Bot-Dokumentation von Perplexity verlinkt sind
Google	Googlebot, spezielle Crawler, benutzergesteuerte Abrufe	Separate JSON-Dateien für jede Gruppe in Google Search Central
Microsoft	bingbot	Eine JSON-Datei in der Bing Webmaster-Dokumentation

Da sich Bereiche ändern, sollten sie neu geladen werden, anstatt sie einmal in eine Konfigurationsdatei zu kopieren.

2. Reverse-DNS

Google und Microsoft unterstützen ebenfalls die umgekehrte DNS-Verifizierung:

1. Ermitteln Sie den Hostnamen für die angeforderte IP-Adresse (eine umgekehrte DNS- oder PTR-Abfrage).
2. Prüfen Sie, ob der Hostname mit der richtigen Domain endet: googlebot.com oder google.com für Google, search.msn.com für Bing.
3. Überprüfen Sie die Hostnamenweiterleitung und stellen Sie sicher, dass sie zur gleichen IP-Adresse aufgelöst wird.

Beide Schritte sind erforderlich. Ein Scraper kann den Reverse-Record seiner eigenen IP-Adresse kontrollieren, nicht aber den Forward-Record von googlebot.com.

So sieht ein gefälschter Bot aus

Typische Anzeichen, die über eine fehlgeschlagene IP-Prüfung hinausgehen:

• Hosting-Provider-IPs: Günstige Cloud-Server anstelle des Netzwerks des Anbieters.
• Ungewöhnliche Pfade: Anmeldeseiten, wp-admin, .env Dateien oder Such-URLs mit zufälligen Parametern.
• Fehlerhafte User-Agents: eine fehlende Versionsnummer oder eine falsche Kontakt-URL.
• Es wird keine robots.txt Anfrage vor dem Crawling gesendet, während echte Crawler diese regelmäßig abrufen.

Was tun mit Fälschungen?

• Blockieren Sie sie an der Firewall, nicht in der robots.txt. Gefälschte Bots ignorieren robots.txt ohnehin.
• Halten Sie sie von Ihren Berichten fern. Zählen Sie verifizierte Crawler-Anfragen getrennt von User-Agent-Treffern, sonst sind Ihre KI-Crawler-Zahlen falsch.
• Blockieren Sie nicht nur anhand des User-Agents. Eine Regel, die jede Anfrage blockiert, GPTBot als Ziel angibt, blockiert auch die eigentliche Anfrage, was möglicherweise nicht gewünscht ist.

Prüfen Sie es kurz

Fügen Sie eine IP-Adresse und einen User-Agent in den KI-Bot-IP-Prüfer ein, um zu überprüfen, ob die IP-Adresse tatsächlich zu dem Bot gehört, für den sie sich ausgibt. Der KI-Bot-Log-Analysator überprüft anhand einer gesamten Protokolldatei jede Anfrage eines KI-Bots und listet gefälschte Anfragen auf. Der BotReady KI-Tracker führt dieselbe Prüfung automatisch bei jedem Crawler-Besuch durch und zeigt gefälschte Bots in einer separaten Tabelle an.