Аналітика AI-краулерів з Cloudflare
Ваш сайт уже працює через Cloudflare, і Cloudflare вже бачить кожного AI-краулера. Підключіть токен лише для читання й за хвилину отримайте зрозумілий дашборд AI-ботів.
Підключіть акаунт Cloudflare
- 1
Відкрийте API Tokens у Cloudflare ↗ і натисніть «Create Token», потім «Create Custom Token».
- 2
Додайте два дозволи: Zone → Zone → Read і Zone → Analytics → Read.
- 3
У Zone Resources оберіть «Include → Specific zone» і свій сайт. Створіть токен і скопіюйте його.
- 4
Вставте токен нижче. Ми перевіримо його, зашифруємо й більше ніколи не показуватимемо.
Токен лише для читання · шифрування AES-256 · відкликайте будь-коли в Cloudflare
Як користуватися
- 1
Створіть токен лише для читання
У Cloudflare створіть API-токен із двома дозволами на читання: Zone Read і Analytics Read. Він не може нічого змінити у вашому акаунті.
- 2
Вставте його й оберіть сайт
Ми перевіряємо токен у Cloudflare, шифруємо його й показуємо зони, які він може читати. Оберіть сайт, за яким стежити.
- 3
Дивіться AI-ботів по днях і сторінках
Запити від 30+ AI-краулерів, їхня частка в усьому трафіку, сторінки, які вони читають найчастіше, і помилки, на які вони натрапляють.
Як працює підключення Cloudflare
Ваш токен не залишає наш сервер і більше ніколи не показується після того, як ви його вставили.
- Ви створюєте токен
У профілі Cloudflare створюєте власний API-токен із дозволами Zone Read і Analytics Read лише для обраного сайту.
- Ми перевіряємо й шифруємо його
Ми перевіряємо токен через Cloudflare, а потім зберігаємо його зашифрованим AES-256-GCM. У браузер він більше не повертається.
- Ми запитуємо аналітику Cloudflare
Щоразу, коли ви відкриваєте дашборд, ми звертаємось до GraphQL Analytics API по запити, user agent яких належить AI-краулеру.
- Ви бачите трафік AI-ботів
Запити по днях і компаніях, частку в усьому трафіку, найпопулярніші сторінки й коди відповіді, які отримали AI-боти.
Що токен може і чого не може
| Дозвіл | Навіщо він нам | Чого він не може |
|---|---|---|
| Zone → Zone → Read | Показує сайти (зони), які бачить токен, щоб ви обрали потрібний. | Змінювати DNS, SSL, правила чи будь-які налаштування. |
| Zone → Analytics → Read | Читає зведену аналітику запитів: user agent, шляхи, коди відповіді, дати. | Бачити IP відвідувачів, cookies чи дані форм або змінювати правила фаєрвола. |
| Zone Resources: один сайт | Обмежує токен обраним сайтом. | Читати інші сайти вашого акаунта. |
Токен можна видалити в Cloudflare будь-коли. Відключення тут теж видаляє нашу зашифровану копію.
Що ви дізнаєтесь із дашборда
GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot, краулери Meta й Amazon, для кожного компанія й мета.
Скільки трафіку йде на навчання моделей, а скільки на живі AI-відповіді, які можуть вас процитувати.
Сторінки, які AI-краулери запитують найчастіше. Якщо ключових сторінок там немає, їх важко знайти.
Відповіді 403, 404 і 5xx для AI-ботів. Правило фаєрвола, що блокує OAI-SearchBot, першим видно саме тут.
Правила безпеки, яких ми дотримуємось
- Токен перевіряється в Cloudflare до збереження
- Зберігається зашифрованим AES-256-GCM, ніколи відкритим текстом
- Після підключення ніколи не повертається в браузер
- Використовується лише для запитів на читання до GraphQL Analytics API
- Результати кешуються на 30 хвилин, щоб запитів до API було мало
- Видаляється разом з акаунтом або коли ви відключаєтесь
Офіційна документація
Часті питання
Чи безпечно давати вам токен Cloudflare?
Токен, який ви створюєте, має лише два дозволи на читання, Zone Read і Analytics Read, тож не може змінити DNS, правила фаєрвола чи будь-яке налаштування. Перед збереженням ми шифруємо його AES-256, використовуємо лише для запитів до вашої аналітики й видаляємо, коли ви відключаєтесь. Ви також можете відкликати його в Cloudflare будь-коли.
Чи працює це на безкоштовному тарифі Cloudflare?
Так. Набір даних про запити, який ми використовуємо, Cloudflare надає на всіх тарифах, включно з Free. На скільки днів назад видно дані, залежить від вашого тарифу Cloudflare: ми читаємо ліміт зони й показуємо максимум доступного.
Чим це відрізняється від аналізатора логів AI-ботів?
Аналізатор працює з файлами логів, які ви завантажуєте з сервера. Цей тул читає ті самі дані напряму з Cloudflare, без вивантаження файлів, і оновлюється щоразу, коли ви його відкриваєте.
Чому цифри не збігаються з логами сервера?
На великих сайтах аналітика Cloudflare працює з вибіркою, тож цифри є точними оцінками. Запити, на які Cloudflare відповідає з кешу, не потрапляють у логи сервера, але видно тут.
Який тариф потрібен?
Підключення Cloudflare входить у Pro та Agency. Без Pro на цій сторінці можна подивитися приклад дашборда.