Як заблокувати AI-краулерів і не зникнути з AI-пошуку

Як заблокувати AI-краулерів (і яких не варто)

Більшість гайдів радять заблокувати GPTBot і на цьому все. Це може бути правильно, але блок не того бота прибирає вас з AI-відповідей. Ось як обрати.

Команда BotReady2 хв читанняОпубліковано 9 листопада 2026 р.

Що ви дізнаєтесь

Різниця між AI-ботами для навчання, пошуку й запитів користувачів

robots.txt, що блокує навчання, але зберігає цитування в AI-пошуку

Коли robots.txt не досить і як блокувати файрволом

Як перевірити, що правила справді працюють

Кожна велика AI-компанія тепер має кілька краулерів із різними задачами. Щоб не віддавати вміст на навчання моделей, не обов’язково зникати з відповідей ChatGPT чи Perplexity. Достатньо заблокувати правильні user-agent.

Три види AI-ботів

Вид	Що робить	Приклади	Блокувати?
Навчання	Збирає сторінки для навчання майбутніх моделей	`GPTBot`, `ClaudeBot`, `CCBot`, `Bytespider`, `Meta-ExternalAgent`	На ваш вибір
Пошук	Будує індекс, який цитують AI-відповіді	`OAI-SearchBot`, `Claude-SearchBot`, `PerplexityBot`	Зазвичай ні
Запит користувача	Відкриває сторінку, бо про неї спитала людина	`ChatGPT-User`, `Claude-User`, `Perplexity-User`	Зазвичай ні

Ще два — не краулери, а керувальні токени. Google-Extended забороняє Google використовувати вміст для навчання й grounding Gemini, а Googlebot і далі сканує для Пошуку. Applebot-Extended робить те саме для Apple Intelligence.

Блок ботів навчання нічого не коштує в трафіку: навчання не приводить відвідувачів. Блок пошукових ботів прибирає вас із джерел цього асистента.

robots.txt, що блокує лише навчання

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: Meta-ExternalAgent
Disallow: /

User-agent: *
Allow: /

Кілька рядків User-agent над одним правилом утворюють одну групу. Бот виконує лише найконкретнішу групу, що його називає, тож GPTBot тут повністю ігнорує групу *.

Можна додати рядок Content Signal, який описує ваше бажання словами, зрозумілими AI-компаніям:

Content-Signal: search=yes, ai-train=no

Зберіть власну версію галочками в генераторі robots.txt для AI.

Типові помилки

Блок Googlebot проти Gemini. Так ви зникнете з Google Пошуку. Використовуйте Google-Extended.
Забули, що групи не зливаються. Якщо GPTBot має свою групу, правила під * на нього не діють.
Блок лише ChatGPT-User. Тоді ChatGPT і далі може цитувати сторінку з індексу, але не відкриє її, коли людина попросить прочитати.
Очікування миттєвого ефекту. Краулери кешують robots.txt до доби, а вже зібраний вміст не видаляється.

Коли robots.txt не досить

robots.txt — прохання, а не замок. OpenAI, Anthropic, Google, Apple і Perplexity заявляють, що їхні офіційні краулери його виконують. Скрапери, що копіюють user-agent бота, — ні.

Щоб блок справді працював:

Використайте контроль ботів у CDN. AI Crawl Control у Cloudflare блокує AI-краулерів за категорією з перевіркою особи, а не лише за user-agent.
Блокуйте за перевіреним IP, а не за назвою. OpenAI, Perplexity, Google, Microsoft, Apple і Common Crawl публікують діапазони IP. Anthropic — ні, тож ClaudeBot можна заблокувати лише за user-agent.
Обмежуйте частоту для невідомих ботів, що ігнорують robots.txt.

Блок лише за user-agent зупиняє чесних ботів, які й так виконують robots.txt, і нічого не робить із фейками. Підозрілі IP перевіряйте в перевірці IP AI-ботів.

Перевірте, що все працює

Запустіть AI Crawler Checker, щоб побачити вердикт для кожного бота.
Через кілька днів закиньте access-лог в аналізатор логів AI-ботів. Заблоковані боти навчання мають зникнути або читати лише /robots.txt.
Якщо «заблокований» бот і далі сканує сторінки, перевірте його IP. Часто це фейк.