OpenAI: robots.txt може не діяти на ChatGPT-User

У документації OpenAI про краулери тепер сказано, що правила robots.txt можуть не застосовуватися до ChatGPT-User — агента, який завантажує сторінку, коли користувач ChatGPT питає про неї. Раніше його описували як такого, яким можна керувати через robots.txt.

Що сталося

OpenAI описує трьох агентів:

• GPTBot збирає контент, який може використовуватися для навчання моделей OpenAI. robots.txt на нього діє.
• OAI-SearchBot обходить сайти для пошуку ChatGPT. Саме через цього бота OpenAI радить керувати тим, чи з’являються сторінки в пошукових відповідях.
• ChatGPT-User відкриває сторінки від імені користувача, наприклад коли хтось вставляє посилання або ChatGPT переглядає сайт під час відповіді. Такі запити вважаються запитами самого користувача.

Це узгоджується з тим, як Google поводиться зі своїми завантажувачами, що працюють на запит користувача. Одне джерело також повідомляє про новіші номери версій у user agent GPTBot та OAI-SearchBot, але це лише одне повідомлення.

Що це означає для вас

• Щоб контент не йшов у навчання, забороніть GPTBot.
• Щоб лишатися в пошуку ChatGPT, дозвольте OAI-SearchBot.
• Щоб зупинити ChatGPT-User, robots.txt може не вистачити. Жорстко заблокувати можна лише правилом фаєрвола, і воно ж заблокує людей, які діляться вашими посиланнями в ChatGPT.

Подивіться, як часто кожен бот OpenAI заходить на сайт, в Аналізатор логів AI-ботів.