AI-краулерів блокують частіше: дані за III квартал
Дедалі більше сайтів закривають доступ AI-краулерам — і в robots.txt, і на рівні фаєрвола. Цифри в дослідженнях різні, але напрям той самий.
Нові дослідження третього кварталу 2026 року вказують в одному напрямку: дедалі більше сайтів блокують AI-краулерів.
Що сталося
- За одним аналізом, 13,47% запитів AI-ботів у III кварталі 2026 року отримали відповідь 403 Forbidden, тоді як роком раніше — 5,98%. Код 403 зазвичай означає правило фаєрвола чи захисту від ботів, а не robots.txt.
- Дослідження топ-10 000 сайтів Tranco показало, що 14,3% коректних файлів robots.txt блокують GPTBot для всього сайту, а 13,4% блокують ClaudeBot.
- У жовтні 2026 року Cloudflare переглянув, як класифікує навчальних і пошукових краулерів, тож порівнювати частки краулерів з минулим роком треба обережно.
Ці цифри наводять незалежні компанії, а не OpenAI, Anthropic чи Cloudflare.
Що це означає для вас
Головний ризик — заблокувати більше, ніж ви хотіли. Навчальні боти (GPTBot, ClaudeBot, Google-Extended) і пошукові чи користувацькі боти (OAI-SearchBot, Claude-SearchBot, ChatGPT-User, PerplexityBot) — різні. Блокування перших не дає використовувати ваш контент для навчання. Блокування других прибирає вас із AI-відповідей.
Перевірте й фаєрвол. Правило CDN може повертати 403 боту, якого ваш robots.txt дозволяє.
Перевірка AI-видимості перевіряє robots.txt і відповіді фаєрвола для кожного великого AI-бота.