Google-Extended і Googlebot: що контролює кожен
Заблокувати не той токен Google — одна з найпоширеніших помилок AI SEO. Один керує Gemini, інший — Пошуком і його AI-функціями.
Що ви дізнаєтесь
- Що насправді роблять Googlebot і Google-Extended
- Чому Google-Extended не прибирає вас з AI Overviews
- Що справді впливає на AI Overviews і AI Mode
- Безпечні приклади robots.txt для типових цілей
Google використовує один краулер для Пошуку й окремий керувальний токен для своїх AI-моделей. Якщо їх переплутати, можна або випасти з Пошуку Google, або залишитися саме там, де не хотіли.
Дві різні речі
| Назва | Що це | Що контролює |
|---|---|---|
Googlebot |
Краулер, який завантажує сторінки | Пошук Google, зокрема AI Overviews і AI Mode |
Google-Extended |
Токен у robots.txt, а не окремий краулер | Чи можна використовувати контент, отриманий Google, для навчання моделей Gemini і для відповідей Gemini |
Google-Extended сам на сайт не заходить. Обходить сайт Googlebot, а токен лише каже Google, як можна використовувати те, що Googlebot уже завантажив.
Що дає блокування кожного
- Блокування
Googlebotприбирає сторінки з Пошуку Google. Вони зникають і зі звичайних результатів, і з AI Overviews та AI Mode, бо ці функції побудовані на індексі Пошуку. - Блокування
Google-Extendedне пускає контент у навчання й відповіді Gemini. Позиції в Пошуку й присутність в AI Overviews не змінюються.
Друге багатьох дивує: Google-Extended не вимикає AI Overviews.
Що справді керує AI Overviews і AI Mode
nosnippetіmax-snippetобмежують текст, який Google може показувати, зокрема в AI-функціях.data-nosnippetна елементі не пускає цю частину сторінки в сніпети й AI-відповіді.- З червня 2026 року в Search Console є налаштування, яке повністю виключає сайт з генеративних AI-функцій Google. Воно діє на все одразу, і такі сторінки не отримують із цих функцій ні показів, ні кліків.
Приклади robots.txt
Залишитися в Пошуку й AI-функціях, але відмовитися від навчання Gemini:
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /Закрити приватний розділ від усього, що робить Google:
User-agent: Googlebot
Disallow: /private/Ніколи не блокуйте Googlebot для всього сайту, якщо не хочете піти з Пошуку Google.
Перевірте налаштування
Перевірка AI-краулерів покаже, як ваш robots.txt обробляє Googlebot, Google-Extended і ще 20 AI-ботів, а Генератор robots.txt для AI складе правила за галочками.