Три краулери Anthropic: як вони відрізняються
Блокування ClaudeBot більше не прибирає вас із пошукових відповідей Claude, а блокування Claude-SearchBot — може. Як поділяються боти Anthropic.
У документації Anthropic про краулери описано три окремі боти, кожного з яких можна дозволити чи заблокувати в robots.txt за його user agent. За повідомленнями, документацію оновили наприкінці лютого 2026 року. Попередня версія описувала лише ClaudeBot.
Що сталося
- ClaudeBot збирає публічний вебконтент для навчання моделей Anthropic.
- Claude-SearchBot обходить сайти, щоб індексувати контент для пошуку, — тоді Claude може знаходити й цитувати сторінки у відповідях. Anthropic попереджає, що його блокування може погіршити видимість і точність у пошукових відповідях Claude.
- Claude-User завантажує сторінку, коли користувач питає Claude про неї.
Старі user agent Claude-Web та anthropic-ai більше не використовуються. Anthropic публікує діапазони IP своїх ботів, тож можна перевірити, чи запит, що називає себе Claude, справді йде від Anthropic.
Що це означає для вас
- Заблокувати навчання, залишити пошук: заборонити
ClaudeBotі дозволитиClaude-SearchBotтаClaude-User. - Перевірте старі правила. robots.txt, який блокує лише
anthropic-ai, сьогодні нічого не робить. - Спершу перевірте, потім довіряйте. Скрапери часто видають себе за ClaudeBot. Звіряйте IP запитів з опублікованими діапазонами Anthropic.
Перевірка IP AI-ботів покаже, чи справді IP належить боту, за якого себе видає.
Джерела
Перевірте свій сайт
Перевірка AI-краулерівЯкі з 21 AI-ботів дозволяє чи блокує ваш robots.txt — і яке саме правило це вирішує.Генератор robots.txt для AIДозвольте AI-пошук, заблокуйте навчання. robots.txt для 21 AI-бота за кілька кліків.Перевірка IP AI-ботівЦе справді GPTBot? Звірте будь-яку IP з офіційними списками AI-краулерів і зворотним DNS.