Генератор robots.txt для AI-ботів
Оберіть, яким AI-ботам можна сканувати ваш сайт. Почніть із шаблону, налаштуйте кожного бота й скопіюйте файл у корінь сайту.
Ваш robots.txt
Завантажте в корінь домену: https://вашсайт.com/robots.txt
Як користуватися
- 1
Оберіть шаблон
«Заблокувати навчання, дозволити пошук» підходить більшості сайтів: контент не потрапляє в навчальні дані, але його можна цитувати.
- 2
Налаштуйте ботів
Перемикайте будь-якого бота між «дозволено» і «заблоковано». Додайте sitemap і правила для інших краулерів.
- 3
Опублікуйте файл
Збережіть його як robots.txt у корені сайту й перевірте через «Перевірку AI-краулерів».
Обирайте політику, а не окремих ботів
Більшості сайтів підходить один із трьох варіантів. Генератор стартує з цих пресетів, а далі можна змінити окремих ботів.
| Політика | Пошукові AI-боти | Боти навчання | Кому підходить |
|---|---|---|---|
| Дозволити всіх | дозволені | дозволені | Блоги, SaaS і документація, яким потрібне охоплення |
| Лише пошук | дозволені | заблоковані | Медіа й магазини: цитування так, навчання ні |
| Блок усіх AI | заблоковані | заблоковані | Платний чи ліцензований вміст |
«Лише пошук» обирають найчастіше: переходи з AI-відповідей лишаються, а навчання моделей вимкнене.
AI user-agent і що вони роблять
| User-agent | Компанія | Призначення |
|---|---|---|
GPTBot | OpenAI | Дані для навчання GPT |
OAI-SearchBot | OpenAI | Індекс для пошуку ChatGPT |
ChatGPT-User | OpenAI | Відкриває сторінку на прохання користувача |
ClaudeBot | Anthropic | Дані для навчання Claude |
Claude-SearchBot / Claude-User | Anthropic | Пошуковий індекс / запити користувачів |
PerplexityBot / Perplexity-User | Perplexity | Пошуковий індекс / запити користувачів |
Google-Extended | Токен: навчання й grounding Gemini, не краулер | |
Applebot-Extended | Apple | Токен: навчання Apple Intelligence |
CCBot | Common Crawl | Відкритий датасет для багатьох LLM |
Bytespider | ByteDance | Дані для навчання |
Meta-ExternalAgent | Meta | Дані для навчання Llama |
Чи справді robots.txt зупиняє AI?
robots.txt — це домовленість, а не замок. OpenAI, Anthropic, Google, Apple і Perplexity заявляють, що їхні офіційні краулери його виконують, і в наших тестах логів так і є.
Скрапери, які підробляють user-agent, його ігнорують. Для жорсткого блокування потрібен файрвол і перевірка ботів за IP. Наш аналізатор логів і перевірка IP покажуть, хто підробляється.
Зміни діють не одразу: краулери кешують robots.txt до 24 годин.
Читають robots.txt перед скануванням і виконують Disallow.
Правило WAF за перевіреним IP, наприклад у Cloudflare.
(cf.verified_bot_category eq "AI Crawler")Перед завантаженням файлу
- Збережіть як
robots.txtу корені домену, не в папці - Один файл на хост:
wwwі піддомени потребують свого - Лишіть рядок
Sitemap:з абсолютною адресою - Не блокуйте CSS і JS, потрібні Googlebot для рендеру
- Після завантаження перевірте в AI Crawler Checker
- Перевіряйте після оновлень CMS чи плагінів, що переписують файл
Часті питання
Чи варто блокувати AI-ботів?
Залежить від цілей. Блокування пошукових ботів прибирає вас із відповідей AI. Більшість видавців, яким потрібен трафік, дозволяють пошукових і користувацьких ботів, а про ботів для навчання вирішують окремо.
Це вплине на позиції в Google?
Блокування Google-Extended не впливає на Google Пошук і AI Overviews. Блокування Googlebot — впливає, тому генератор не чіпає Googlebot і Bingbot.
Чи можна зберегти мої поточні правила?
Так. Вставте їх у поле «Правила для всіх інших краулерів» — вони залишаться під User-agent: *.