Як побачити AI-краулерів у серверних логах
AI-краулери не виконують JavaScript, тож аналітика їх не бачить. Ваш сервер — бачить. Де шукати і що означають цифри.
Що ви дізнаєтесь
- Чому GA4 та інша аналітика не можуть показати AI-краулерів
- Де взяти логи на поширених хостингах
- Які поля й цифри важливі для AI-краулерів
- Як перетворити сирі логи на щотижневий звіт
GA4, Plausible та подібні інструменти працюють через скрипт у браузері відвідувача. AI-краулери на кшталт GPTBot, ClaudeBot і PerplexityBot завантажують HTML і ніколи не запускають цей скрипт. Для аналітики їх не існує.
Повна картина активності AI-краулерів є лише на боці сервера: у логах доступу, логах CDN або в невеликому серверному коді, який повідомляє про запити ботів.
Де взяти логи
| Платформа | Де логи |
|---|---|
| Nginx чи Apache на власному сервері | access.log, зазвичай у /var/log/nginx/ або /var/log/apache2/ |
| Спільний хостинг (cPanel тощо) | Розділ «Raw Access» або «Logs» у панелі керування |
| Cloudflare | Security Analytics, AI Crawl Control або GraphQL Analytics API |
| Vercel, Netlify та інші платформи | Log drains або журнал запитів платформи, часто з коротким зберіганням |
| WordPress без доступу до сервера | Плагін або невеликий код, що записує запити ботів |
На багатьох хостингах логи зберігаються лише кілька днів. Регулярно їх вивантажуйте, якщо хочете бачити динаміку.
На що дивитися
У кожному рядку логу є все потрібне: час, IP, шлях запиту, код відповіді та user agent. Для AI-краулерів важливі п’ять показників:
- Запити кожного бота за день. Які компанії обходять ваш сайт і чи росте це число?
- Розподіл за метою. Навчальні боти (
GPTBot,ClaudeBot,CCBot) проти пошукових і користувацьких (OAI-SearchBot,Claude-SearchBot,PerplexityBot,ChatGPT-User). Саме візити пошукових ботів ведуть до цитувань. - Найчастіше прочитані сторінки. Якщо боти здебільшого ходять по тегах, фільтрах чи старих URL, ваш важливий контент може залишатися поза увагою.
- Коди відповідей. Велика частка 403, 404 чи 5xx означає, що боти заблоковані або натрапляють на биті сторінки.
- Перевірені й заявлені. Запити, IP яких не збігається з опублікованими діапазонами компанії, підробні. Рахуйте їх окремо.
Швидка перевірка в командному рядку
На сервері з Nginx ця команда рахує запити кожного AI-бота в сьогоднішньому лозі:
grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Google-Extended|Bytespider|CCBot|Amazonbot" /var/log/nginx/access.log | sort | uniq -c | sort -rnВона рахує лише збіги за user agent, тож підробні боти теж потрапляють у підсумок.
Від логів до щотижневого звіту
Читати сирі логи щотижня важко. Три способи зробити це практичним:
- Завантажте лог-файл в Аналізатор логів AI-ботів. Він знаходить AI-ботів, перевіряє їхні IP і показує найпопулярніші сторінки та помилки.
- Підключіть Cloudflare токеном лише для читання в Аналітиці AI-краулерів з Cloudflare і бачте запити краулерів у своїй зоні за ботами й днями.
- Встановіть AI-трекер BotReady. Невеликий серверний код передає кожен запит AI-краулера зі сторінкою й кодом відповіді, а тег рахує відвідувачів із ChatGPT, Perplexity і Gemini. Усе це в одному дашборді.
Зв’яжіть обхід із трафіком
Обхід — лише перший крок. Корисне питання: які прочитані сторінки потім отримують відвідувачів з AI-асистентів. Сторінкам, які пошукові боти читають часто, але які не отримують AI-відвідувачів, можуть знадобитися чіткіші відповіді чи краща структура. Сторінки з AI-відвідувачами показують, якому контенту на вашому сайті довіряє AI-пошук.