Ця IP справді AI-бот?
Вставте IP-адреси з логів. Ми звіримо їх зі списками IP, які публікують OpenAI, Perplexity, Google, Microsoft, Apple, Common Crawl і DuckDuckGo, та перевіримо зворотний DNS.
Як користуватися
- 1
Вставте одну або кілька IP
Візьміть їх із логів сервера чи фаєрвола. Підходять IPv4 та IPv6.
- 2
Додайте user-agent (необов’язково)
Якщо запит називав себе ботом, ми скажемо, чи це правда.
- 3
Дозвольте або заблокуйте
Пропускайте справжніх краулерів у фаєрволі й блокуйте тих, хто лише прикидається AI-ботом.
Чому user-agent нічого не доводить
User-agent — це просто текстовий заголовок. Будь-хто може надіслати GPTBot/1.2 одним рядком коду, і скрапери так роблять, щоб проскочити фільтри, які пропускають AI-краулерів.
Надійних способів перевірити GPTBot чи іншого краулера лише два: переконатися, що IP входить в офіційний діапазон компанії, або зробити forward-confirmed reverse DNS. Цей тул робить обидва.
Рядок user-agent.
curl -A "GPTBot/1.2" https://example.comIP-адресу джерела, бо TCP-з’єднання має повернутися на неї.
Як працює перевірка
- Розбір IP
IPv4 та IPv6, до 20 за раз.
- Офіційні діапазони
Завантажуємо актуальні JSON-списки кожної компанії й звіряємо IP з кожним CIDR-блоком.
- Зворотний DNS
Для компаній без списків шукаємо PTR-запис, наприклад
crawl-66-249-66-1.googlebot.com. - Пряме підтвердження
Хост має вказувати назад на той самий IP, інакше PTR міг бути підробленим.
Хто що публікує
| Компанія | Офіційний список IP | Домен зворотного DNS |
|---|---|---|
| OpenAI | так: gptbot.json, searchbot.json, chatgpt-user.json | немає |
| так: краулери й запити користувачів | googlebot.com, google.com | |
| Microsoft | так: bingbot.json | search.msn.com |
| Apple | так: applebot.json | applebot.apple.com |
| Perplexity | так: perplexitybot.json, perplexity-user.json | немає |
| Common Crawl | так: ccbot.json | commoncrawl.org |
| DuckDuckGo | так: duckassistbot.json | немає |
| Anthropic | ні | немає |
ClaudeBot зараз не перевірити за IP, бо Anthropic не публікує діапазонів. Ми чесно пишемо «немає списку», а не вгадуємо.
Перевірте самі в терміналі
Forward-confirmed reverse DNS — це дві команди. Обидві відповіді мають збігтися.
$ host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
$ host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1 ✓ справжній GooglebotЩо робити з результатом
Дозвольте у WAF. Блок справжнього пошукового бота прибирає вас із відповідей цього рушія.
Блокуйте IP або його мережу. Фейковий бот ігнорує robots.txt, тож зупинить лише файрвол.
Стежте за поведінкою: частота, шляхи, дотримання robots.txt. Обмежуйте, якщо зловживає.
Часті питання
Як перевірити GPTBot?
OpenAI публікує IP-діапазони для GPTBot, OAI-SearchBot і ChatGPT-User. Запит справжній, лише якщо його IP входить до відповідного списку. Ми завантажуємо актуальні списки й перевіряємо IP за вас.
Що таке підтверджений зворотний DNS?
Ми шукаємо ім’я хоста для IP (наприклад, crawl-66-249-66-1.googlebot.com), а потім перетворюємо це ім’я назад на IP. Якщо обидва збігаються і домен належить компанії, краулер справжній. Цей метод підтримують Google, Microsoft, Apple та Amazon.
Звідки беруться фейкові AI-боти?
Скрейпери копіюють user-agent GPTBot чи ClaudeBot, щоб обійти фільтри ботів або сховатися серед справжніх краулерів. User-agent підробити легко, IP-адресу — ні.