Cloudflare делает большой шаг к монетизации данных для обучения ИИ. Теперь все новые данные, размещённые на Cloudflare, по умолчанию недоступны для ИИ-краулеров. Появилась и новая опция: страница может возвращать код HTTP 402 («Payment required») и взимать плату за доступ. Разумеется, посредником будет выступать Cloudflare, что даёт ей значительный контроль и финансовую власть.
Более того, это может открыть эпоху «тёмного краулинга», которая неизбежно выльется в игры в кошки-мышки с детектированием краулеров.