Перевірка AI-краулерів
Дізнайтеся, яких AI-краулерів дозволяє ваш robots.txt. Ми оцінюємо правила так, як це роблять краулери: перемагає найконкретніша група user-agent і найдовший шлях, що збігся.
Як користуватися
- 1
Введіть сайт або сторінку
Ми завантажимо /robots.txt з кореня й перевіримо введений шлях.
- 2
Перегляньте таблицю ботів
Для кожного AI-бота — дозволено чи заблоковано, його призначення та правило, що це вирішило.
- 3
Налаштуйте правила
У генераторі robots.txt для AI можна одним кліком дозволити пошукових ботів і заблокувати ботів для навчання.
Три шари вирішують, чи пройде бот
Перевірка AI-краулерів, яка читає лише robots.txt, бачить пів картини. Бот може мати дозвіл у robots.txt і все одно впертися у файрвол, або пройти, але отримати заборону використовувати сторінку.
Ми перевіряємо всі три шари для кожного AI-бота й показуємо перший, що його зупиняє.
Ввічливе прохання. Великі AI-компанії його виконують.
User-agent: GPTBot
Disallow: /Жорстке блокування: бот отримує 403, 429 або перевірку.
HTTP/2 403
cf-mitigated: challengeMeta-теги й заголовки, що обмежують індексацію чи AI.
X-Robots-Tag: noindexСигнали відмови від AI, які ми читаємо
Окрім robots.txt, кілька новіших стандартів кажуть AI-компаніям, як можна використовувати вміст. Підтримка дуже різна, тож показуємо кожен окремо.
| Сигнал | Де живе | Приклад | Хто читає |
|---|---|---|---|
| robots.txt | /robots.txt | User-agent: CCBot | Усі великі AI-краулери |
| Content-Signal | robots.txt | Content-Signal: search=yes, ai-train=no | Пропозиція Cloudflare, рання |
| noai, noimageai | meta robots | <meta name="robots" content="noai"> | Кілька платформ для зображень |
| TDMRep | заголовок, meta чи /.well-known/tdmrep.json | tdm-reservation: 1 | Відмова від TDM у ЄС |
| ai.txt | /ai.txt | User-Agent: * / Disallow: *.jpg | Spawning і партнери |
У ЄС TDMRep — машиночитаний спосіб зарезервувати права на аналіз тексту й даних за Директивою DSM про авторське право.
Типові помилки в robots.txt для AI-ботів
Якщо GPTBot має власну групу, він ігнорує все під User-agent: *. Дублюйте спільні правила.
Так ви випадете з Google Пошуку. Для відмови від навчання Gemini є токен Google-Extended.
Disallow: /Blog/ не блокує /blog/.
Disallow: без шляху означає «нічого не заблоковано». Для всього сайту ставте /.
Багато краулерів вважають помилку сервера на robots.txt забороною, доки її не виправлять.
Дозволити AI-пошук, заборонити навчання
Найпопулярніше налаштування: лишатися у відповідях ChatGPT, Claude і Perplexity, але не віддавати вміст на навчання моделей.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
Content-Signal: search=yes, ai-train=noЗберіть власну версію галочками в генераторі robots.txt для AI.
Стандарти
Часті питання
Як robots.txt застосовується до AI-ботів?
Краулер бере групу, де вказано його токен (наприклад, «GPTBot»). Якщо такої немає — групу «User-agent: *». Усередині групи перемагає найдовший шлях Allow чи Disallow, що збігся, а при рівності — Allow.
Що буде, якщо robots.txt немає?
Якщо robots.txt повертає 404, краулери вважають, що дозволено все. Якщо помилку 5xx — багато хто вважає весь сайт заблокованим, доки він не відновиться.
Чи всі AI-боти дотримуються robots.txt?
Великі компанії — OpenAI, Anthropic, Google, Perplexity, Apple — заявляють, що їхні краулери дотримуються robots.txt. Боти, що відкривають сторінку на запит користувача, можуть поводитися інакше. Дивіться документацію кожної компанії.