Handelt es sich bei dieser IP-Adresse tatsächlich um einen KI-Bot?
Fügen Sie die IP-Adressen aus Ihren Protokollen ein. Wir überprüfen sie anhand der von OpenAI, Perplexity, Google, Microsoft, Apple, Common Crawl und DuckDuckGo veröffentlichten IP-Listen sowie anhand der Reverse-DNS-Abfrage.
Wie man es benutzt
- 1
Fügen Sie eine oder mehrere IP-Adressen ein.
Sie finden die Daten in Ihren Server- oder Firewall-Protokollen. Sowohl IPv4 als auch IPv6 funktionieren.
- 2
Fügen Sie den User-Agent hinzu (optional).
Wenn die Anfrage angeblich von einem Bot stammt, teilen wir Ihnen mit, ob die Behauptung echt ist.
- 3
Zulassen oder blockieren
Erlauben Sie verifizierte Crawler in Ihrer Firewall und blockieren Sie Fälschungen, die sich nur als KI-Bots ausgeben.
Warum ein User-Agent nichts beweist
Der User-Agent ist lediglich ein Text-Header. Jeder kann GPTBot/1.2 mit einer einzigen Codezeile senden, und Web-Scraper nutzen dies, um Filter zu umgehen, die KI-gestützte Crawler zulassen.
Es gibt nur zwei zuverlässige Methoden, um GPTBot oder andere Crawler zu verifizieren: Prüfen, ob die IP-Adresse zum veröffentlichten Bereich des Anbieters gehört, oder eine Forward-Confirmed-Reverse-DNS-Abfrage durchführen. Dieses Tool kann beides.
Der User-Agent-String.
curl -A "GPTBot/1.2" https://example.comDie Quell-IP-Adresse, da die TCP-Verbindung zu dieser zurückgeführt werden muss.
Wie die Verifizierung funktioniert
- IP-Adresse analysieren
IPv4 und IPv6, bis zu 20 gleichzeitig.
- Schiedsrichterbereiche
Wir laden die aktuellen JSON-Listen von jedem Anbieter herunter und ordnen die IP-Adresse jedem CIDR-Block zu.
- Reverse-DNS
Bei Anbietern ohne Listen schlagen wir im PTR-Eintrag nach, zum Beispiel
crawl-66-249-66-1.googlebot.com. - Weiterleitung bestätigt
Der Hostname muss zur selben IP-Adresse aufgelöst werden, sonst könnte der PTR-Eintrag gefälscht werden.
Wer veröffentlicht was
| Unternehmen | Offizielle IP-Liste | Reverse-DNS-Domäne |
|---|---|---|
| OpenAI | Ja: gptbot.json, searchbot.json, chatgpt-user.json | keiner |
| Ja: Crawler und benutzergesteuerte Abrufe | googlebot.com, google.com | |
| Microsoft | Ja: bingbot.json | search.msn.com |
| Apfel | Ja: applebot.json | applebot.apple.com |
| Perplexity | Ja: perplexitybot.json, perplexity-user.json | keiner |
| Gemeinsamer Crawl | Ja: ccbot.json | commoncrawl.org |
| DuckDuckGo | Ja: duckassistbot.json | keiner |
| Anthropisch | NEIN | keiner |
ClaudeBot kann heute nicht per IP-Adresse verifiziert werden, da Anthropic keine IP-Adressbereiche veröffentlicht. Wir markieren ihn daher als „keine öffentliche Liste“, anstatt zu raten.
Überprüfen Sie es selbst in einem Terminal.
Für eine Forward-Confirmed-Reverse-DNS-Abfrage sind zwei Befehle erforderlich. Beide Antworten müssen übereinstimmen.
$ host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
$ host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1 ✓ genuine GooglebotWas tun mit dem Ergebnis?
Erlauben Sie es in Ihrer WAF. Wenn Sie einen echten Suchbot blockieren, werden Ihre Daten nicht mehr von dieser Suchmaschine angezeigt.
Blockieren Sie die IP-Adresse oder das zugehörige Netzwerk. Ein gefälschter Bot ignoriert robots.txt Datei, daher kann ihn nur die Firewall stoppen.
Überwachen Sie das Verhalten: Anfragerate, Pfade, Einhaltung robots.txt Datei. Begrenzen Sie die Anfragerate, falls es zu Fehlverhalten kommt.
Häufig gestellte Fragen
Wie kann ich GPTBot verifizieren?
OpenAI veröffentlicht die IP-Bereiche für GPTBot, OAI-SearchBot und ChatGPT-User. Eine Anfrage ist nur dann gültig, wenn ihre IP-Adresse in der entsprechenden Liste enthalten ist. Wir laden die aktuellen Listen herunter und überprüfen die IP-Adresse für Sie.
Was ist Forward-Confirmed Reverse DNS?
Wir ermitteln den Hostnamen der IP-Adresse (z. B. crawl-66-249-66-1.googlebot.com) und lösen diesen Hostnamen anschließend in eine IP-Adresse auf. Stimmen beide überein und gehört die Domain dem Anbieter, ist der Crawler echt. Google, Microsoft, Apple und Amazon unterstützen diese Methode.
Warum gibt es gefälschte KI-Bots?
Web-Scraper kopieren den User-Agent GPTBot oder ClaudeBot, um Bot-Filter zu umgehen oder sich zwischen echten Crawlern zu verstecken. User-Agent-Strings lassen sich leicht fälschen; IP-Adressen hingegen nicht.