Cloudflare Pay Per Crawl 2026: noch Beta
Die Abrechnung von KI-Crawlern pro Anfrage befindet sich noch im Experimentierstadium. Cloudflare fügt zwar ständig neue Funktionen hinzu, aber die meisten Websites können diese noch nicht aktivieren.
Cloudflare führte Pay Per Crawl im Jahr 2025 ein, um Websites die Möglichkeit zu geben, KI-Crawlern jede Anfrage in Rechnung zu stellen. Ende 2026 wird es in der Dokumentation von Cloudflare immer noch als geschlossene Betaversion beschrieben.
Was ist passiert
Das Änderungsprotokoll von 2026 zeigt stetige Ergänzungen:
- 13. Januar: Eine Discovery-API, mit der verifizierte Crawler herausfinden können, welche Domains teilnehmen, individuelle Preisgestaltung und ein Crawler-Fehlerheader mit spezifischen Fehlercodes.
- 17. April: Eine x402-basierte, zahlungsgesteuerte Proxy-Worker-Vorlage zur Abrechnung von Crawlern.
Der dokumentierte Mindestpreis beträgt 0,001 US-Dollar pro Crawl. Stack Overflow hat über die Teilnahme am Programm berichtet. Einige Blogs berichten, dass Cloudflare künftig pro Zitation oder pro Nutzung statt pro Crawl abrechnen wird. Wir konnten dies auf den Cloudflare -Webseiten nicht finden, daher ist diese Information unbestätigt.
Was das für Sie bedeutet
- Die meisten Websites wählen in AI Crawl Control derzeit zwischen Zulassen und Blockieren. Die Kosten werden nur Beta-Teilnehmern in Rechnung gestellt.
- Analysieren Sie zunächst Ihren Crawler-Traffic. Die Preisgestaltung ist nur dann sinnvoll, wenn Sie wissen, welche Bots wie oft und welche Seiten sie aufrufen.
- Einzelne Crawler-Blöcke überschreiben robots.txt. Ein Block in AI Crawl Control gibt den Fehlercode 403 zurück, selbst wenn robots.txt den Bot zulässt.
Unsere KI-Crawler-Analyse mit Cloudflare verwendet ein schreibgeschütztes Token, um die KI-Crawler-Anfragen aus Ihrer Zone nach Bot und Tag anzuzeigen.