Як відрізнити справжніх AI-ботів від підробних
User agent — це просто текст. Скрапери копіюють GPTBot і ClaudeBot, щоб обійти фільтри й сховатися в логах. Як відрізнити справжніх краулерів від самозванців.
Що ви дізнаєтесь
- Чому user agent сам по собі не можна вважати доказом
- Де AI-компанії публікують діапазони IP своїх краулерів
- Як працює перевірка Googlebot і Bingbot через зворотний DNS
- Що робити із запитами, які не пройшли перевірку
Кожен запит містить заголовок User-Agent, і будь-яка програма може записати туди що завгодно. Якщо скрапер напише там GPTBot, за самим заголовком сервер не відрізнить його від справжнього. Це важливо у трьох випадках:
- ви дозволяєте AI-пошукових ботів у фаєрволі й не хочете, щоб цим правилом користувалися скрапери;
- ви аналізуєте логи і хочете бачити справжні цифри AI-краулерів, а не завищені;
- ви блокуєте навчальних AI-ботів і хочете знати, чи заблокований трафік узагалі був справжнім.
Два способи перевірити краулера
1. Опубліковані діапазони IP
Більшість AI-компаній публікують IP-адреси своїх ботів у JSON-файлах. Запит справжній, лише якщо його IP входить в опубліковані діапазони саме цього бота.
| Компанія | Боти | Де діапазони |
|---|---|---|
| OpenAI | GPTBot, OAI-SearchBot, ChatGPT-User |
Окремий JSON-файл для кожного бота, посилання в документації OpenAI про краулери |
| Anthropic | ClaudeBot, Claude-SearchBot, Claude-User |
JSON-файл, посилання на сторінці Anthropic про краулери |
| Perplexity | PerplexityBot, Perplexity-User |
JSON-файли, посилання в документації Perplexity про ботів |
Googlebot, спеціальні краулери, завантажувачі на запит користувача |
Окремі JSON-файли для кожної групи в Google Search Central | |
| Microsoft | bingbot |
JSON-файл у документації Bing Webmaster |
Діапазони змінюються, тож завантажуйте їх свіжими, а не копіюйте один раз у конфігурацію.
2. Зворотний DNS
Google і Microsoft також підтримують перевірку через зворотний DNS:
- Знайдіть ім’я хоста для IP запиту (зворотний DNS-запит, PTR).
- Переконайтеся, що ім’я закінчується правильним доменом:
googlebot.comабоgoogle.comдля Google,search.msn.comдля Bing. - Зробіть прямий DNS-запит для цього імені й переконайтеся, що він повертає той самий IP.
Потрібні обидва кроки. Скрапер може керувати зворотним записом свого IP, але не прямим записом googlebot.com.
Як виглядає підробний бот
Типові ознаки, крім проваленої перевірки IP:
- IP хостинг-провайдерів: дешеві хмарні сервери замість мережі компанії.
- Дивні шляхи: сторінки входу,
wp-admin, файли.envчи пошукові URL з випадковими параметрами. - Зламаний user agent: немає номера версії або неправильна контактна адреса.
- Немає запиту до robots.txt перед обходом, тоді як справжні краулери регулярно його завантажують.
Що робити з підробками
- Блокуйте їх у фаєрволі, а не в robots.txt. Підробні боти все одно ігнорують robots.txt.
- Не пускайте їх у звіти. Рахуйте перевірені запити краулерів окремо від збігів за user agent, інакше цифри AI-краулерів будуть хибними.
- Не блокуйте лише за user agent. Правило, що блокує кожен запит із
GPTBot, заблокує й справжнього, а цього ви можете не хотіти.
Швидка перевірка
Вставте IP і user agent у Перевірку IP AI-ботів, щоб дізнатися, чи справді IP належить боту, за якого себе видає. Для цілого лог-файлу Аналізатор логів AI-ботів перевіряє кожен запит AI-бота й показує підробки. AI-трекер BotReady робить таку перевірку автоматично для кожного візиту краулера й показує підробних ботів в окремій таблиці.