Cloudflare właśnie zmieniło sposób, w jaki crawlery AI skanują cały internet; podejście oparte na zgodzie toruje drogę nowemu modelowi biznesowemu

Cloudflare robi duży krok w stronę monetyzacji danych do trenowania AI. Od teraz wszystkie nowe dane hostowane na Cloudflare są domyślnie niedostępne dla crawlerów AI. Pojawiła się też nowa opcja, dzięki której strona może zwracać kod HTTP 402 („Payment required”) i pobierać opłatę za dostęp. Oczywiście Cloudflare będzie tu pośrednikiem, co daje mu znaczną kontrolę i siłę finansową.

Co więcej, może to zapoczątkować erę „ciemnego crawlingu”, która bez wątpienia doprowadzi do zabawy w kotka i myszkę przy wykrywaniu crawlerów.