Аналізатор логів AI-ботів
Подивіться, як AI-краулери насправді ходять вашим сайтом. Перетягніть лог сервера: ми знайдемо 30+ AI-ботів, звіримо їх з офіційними списками IP і покажемо, що вони сканують. Файл нікуди не завантажується.
Як користуватися
- 1
Вивантажте access-лог
Завантажте access.log із сервера, панелі хостингу чи CDN. Файли .gz теж підходять.
- 2
Перетягніть його сюди
Файл розбирається у вашому браузері. Ми знаходимо AI user-agent і звіряємо кожну IP з опублікованим списком компанії.
- 3
Дійте за звітом
Блокуйте фейкових ботів, виправляйте помилки, на які натрапляють AI-краулери, і стежте, щоб ключові сторінки сканувалися.
Як аналізатор читає ваш лог
- Потокове читання
Великі й стиснуті логи читаються частинами, тож файл на 1 ГБ не підвісить вкладку.
- Пошук AI-ботів
User-agent кожного рядка звіряємо з 30+ шаблонами AI-краулерів.
- Перевірка IP
Звіряємо з офіційними діапазонами: справжній, фейк або немає списку.
- Звіт
Боти, сторінки, коди відповіді й звернення по днях, з експортом у CSV.
Що нам каже рядок логу
Це стандартний рядок формату combined для Nginx чи Apache. Ми беремо IP, дату, URL, статус і user-agent.
20.171.207.13 - - [08/Nov/2026:10:14:02 +0000] "GET /pricing HTTP/1.1" 200 18432 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)"
└── IP: звіряємо з openai.com/gptbot.json └── user-agent: GPTBot → краулер для навчанняДе взяти access-лог
| Платформа | Де знайти |
|---|---|
| Nginx | /var/log/nginx/access.log (старші файли як .gz) |
| Apache | /var/log/apache2/access.log або /var/log/httpd/access_log |
| Хостинг з cPanel | Metrics → Raw Access → завантажити архів |
| Cloudflare | Logpush у R2 чи S3 як JSON-рядки (поля ClientIP, ClientRequestUserAgent) |
| Vercel, Netlify | Log drains у сховище, потім експорт |
На що дивитися у звіті
«GPTBot» з домашнього чи Tor-IP, що ломиться на /wp-login.php, — це скрапер. Блокуйте IP, а не назву бота.
Багато 404 чи 5xx на сканованих сторінках — AI-рушії тримають зламану картину сайту.
Боти навчання беруть вміст без переходів. Пошукові можуть дати цитування. Порівняйте частки.
Якщо AI-боти витрачають візити на теги й фільтри, важливі сторінки можуть лишитися непрочитаними.
Різкий стрибок звернень часто означає нового бота або краулер, що застряг у петлі URL.
Bytespider чи Meta-ExternalAgent бувають важкими. Вирішіть, чи пускати їх у robots.txt.
Часті питання
Мій лог кудись завантажується?
Ні. Файл читає й розбирає JavaScript у вашому браузері. З нашого сервера завантажуються лише публічні списки IP-діапазонів.
Які формати логів підтримуються?
Combined і common формати Apache та Nginx, більшість експортів CDN і JSON-рядки з полями на кшталт ClientIP та ClientRequestUserAgent (Cloudflare). Рядки в інших форматах усе одно перевіряються на назви ботів та IP-адреси.
Як ви знаходите фейкових AI-ботів?
OpenAI, Perplexity, Google, Microsoft, Apple, Common Crawl і DuckDuckGo публікують IP-діапазони своїх краулерів. Якщо запит видає себе за GPTBot, але приходить з IP поза цим списком, це підробка.
Чому ClaudeBot не можна перевірити?
Anthropic та деякі інші компанії не публікують списків IP, тому такі звернення позначаються як «немає публічного списку», а не справжні чи фейкові.