Стандарт IETF Content-Usage: що з ним зараз
Стандартний спосіб сказати «пошук — так, навчання — ні» вже близько, але ще не готовий. Що визначають чернетки IETF і чому на них поки не варто покладатися.
Робоча група IETF AI Preferences (aipref) розробляє стандартний спосіб, у який власники сайтів можуть указати, як AI-системам дозволено використовувати їхній контент.
Що сталося
Є два основні документи:
- Словник (vocabulary): визначає категорії використання, зокрема
train-aiіsearch, кожна з яких може бути дозволена, заборонена чи невизначена. - Прив’язка (attachment): визначає, де розміщувати ці налаштування — нове правило
Content-Usageу robots.txt (наприклад,Content-Usage: train-ai=n) і HTTP-заголовок.
За планом робочої групи, обидві чернетки мали передати в IESG для публікації приблизно в серпні 2026 року, але правки тривали й після цього. Станом на листопад 2026 року це ще чернетки, а не RFC. Існують і окремі пропозиції, як-от файл ai.txt.
Що це означає для вас
- Рядок Content-Usage нічого не зламає, бо краулери ігнорують правила, яких не розуміють. Але поки не розраховуйте, що його виконуватимуть.
- Справжню роботу й далі роблять правила для user agent. Заборона
GPTBotчиClaudeBot— надійний спосіб відмовитися від навчання вже сьогодні, не втрачаючи пошукових ботів. - Стежте за підтримкою. Коли великі краулери оголосять підтримку, один рядок зможе сказати «пошук — так, навчання — ні» для всіх одразу.
Налаштуйте правила для кожного бота в Генератор robots.txt для AI.