Cloudflare Pay Per Crawl у 2026: досі бета
Брати з AI-краулерів плату за кожен запит — поки експеримент. Cloudflare додає нові складники, але більшість сайтів увімкнути це ще не може.
Cloudflare запустив Pay Per Crawl у 2025 році, щоб сайти могли брати з AI-краулерів плату за кожен запит. Наприкінці 2026 року документація Cloudflare досі називає його закритою бетою.
Що сталося
Журнал змін 2026 року показує поступові доповнення:
- 13 січня: discovery API, через який перевірені краулери можуть дізнатися, які домени беруть участь; власні ціни; заголовок з окремими кодами помилок для краулерів.
- 17 квітня: шаблон Worker-проксі з оплатою через x402 для монетизації доступу краулерів.
Мінімальна ціна в документації — $0,001 за запит. Stack Overflow писав про участь у програмі. Деякі блоги повідомляють, що Cloudflare переходить від оплати за запит до оплати за цитування чи використання. На сторінках самого Cloudflare ми цього не знайшли, тож вважайте це непідтвердженим.
Що це означає для вас
- Більшість сайтів зараз обирає між «дозволити» і «заблокувати» в AI Crawl Control. Плату можуть брати лише учасники бети.
- Спершу дізнайтеся свій трафік краулерів. Ціну має сенс ставити, лише коли знаєте, які боти заходять, як часто і які сторінки беруть.
- Блокування окремого краулера сильніше за robots.txt. Блок в AI Crawl Control повертає 403, навіть якщо robots.txt цього бота дозволяє.
Аналітика AI-краулерів з Cloudflare за токеном лише для читання показує запити AI-краулерів у вашій зоні за ботами й днями.