Cloudflare dnes spustil „Pay Per Crawl“, přelomovou iniciativu, jejímž cílem je přetvořit ekonomický model webu tím, že vydavatelům umožní bojovat proti škrábání obsahu řízeného umělou inteligencí. Společnost, která se stará o provoz na zhruba 20 % internetu, nyní podle svého oznámení ve výchozím nastavení blokuje prohledávače AI pro nové zákazníky. To umožňuje tvůrcům obsahu účtovat společnostem AI za přístup, což je přímou reakcí na kolabující provoz doporučení, který ohrožuje základní obchodní model webu.
Tento krok je přímou reakcí na to, co CEO Cloudflare Matthew Prince popsal jako „existenční hrozbu“ pro online vydavatele. V červnu 2025 Prince odhalil ohromující data ukazující katastrofální kolaps provozu z vyhledávání AI. Na každých 1 500 stránek, které prohledávače OpenAI seškrábly od vydavatele, poslaly zpět pouze jednoho návštěvníka – což je dramatický pokles z poměru 250 ku jedné před pouhými šesti měsíci. Údaje pro jiné modely umělé inteligence byly ještě horší, poměr Anthropic se zhoršil na 60 000 ku jedné. Tento trend oslabuje zdroje příjmů podporované reklamou, které udržují online obsah po celá desetiletí.
Danielle Coffey, generální ředitelka News/Media Alliance, nedávno zachytila frustraci tohoto odvětví,uvádějící"Odkazy byly poslední výhodnou kvalitou vyhledávání, která vydavatelům poskytla návštěvnost a příjmy. Google nyní pouze bere obsah násilím a používá jej bez návratu."
Další informace:
Pro vytvoření životaschopné alternativy Cloudflare navrhuje nový ekonomický rámec, kde je obsah přímo kompenzován. Tato vize je základem systému Pay Per Crawl, jehož cílem je poskytovat udržitelný zdroj příjmů pro tvůrce, jejichž práce se používá k výcviku a podpoře velkých jazykových modelů.
Jak funguje platba za procházení
Jádrem iniciativy jeoživení z velké části zapomenutého stavového kódu HTTP 402 „Vyžadována platba“.. Technický rámec vytváří strojově čitelný způsob, jak mohou vydavatelé požadovat platbu. Když registrovaný prohledávač AI požaduje obsah, může obdržet buď úspěšnou odpověď, nebo chybu 402, která zahrnuje cenu nastavenou vydavatelem.
Podle dokumentace Cloudflare mohou prohledávače interagovat s tímto systémem dvěma způsoby. V „reaktivním“ toku prohledávač zadá požadavek a po obdržení odpovědi 402 se může pokusit opakovat s hlavičkou, která souhlasí se zadanou cenou. Alternativně „proaktivní“ tok umožňuje prohledávači zahrnout do své počáteční žádosti hlavičku „crawler-max-price“, která signalizuje ochotu zaplatit až do určité částky, což automatizuje transakci, pokud je cena majitele stránek v rámci rozpočtu. Cloudflare bude vystupovat jako obchodník záznamů a bude zpracovávat transakce mezi společnostmi AI a vydavateli.
Systém je navržen tak, aby poskytoval vlastníkům obsahu plnou kontrolu nad jejich strategií zpeněžení. Vydavatelé budou mít tři různé možnosti pro práci s prohledávači AI: povolit bezplatný přístup, účtovat si nakonfigurovanou cenu pro celou doménu nebo zcela zablokovat přístup. Tato granulární kontrola umožňuje tvůrcům přizpůsobit svůj přístup, ať už se chtějí podílet na nové ekonomice, vyjednávat samostatné licenční smlouvy nebo jednoduše držet roboty AI mimo.
Tato iniciativa již získala významnou podporu ze světa vydavatelů, se společnostmi jako BuzzFeed, Fortune, TIME, Ziff Davis a mateřskou společností Search Engine Land, Third Door Media,přihlášení jako první uživatelé. Svou podporu vyjádřily i velké mediální organizace.
Stupňující se obrana proti škrabkám
Pay Per Crawl je vyvrcholením víceleté strategie společnosti Cloudflare, která má vydavatele vyzbrojit proti neoprávněnému škrábání. Společnost poprvé spustila bezplatný nástroj na jedno kliknutí pro blokování známých AI scraperů v červenci 2024, později rozšířila své možnosti a nabídla monitorovací dashboardy všem uživatelům v září 2024. Tyto nástroje byly reakcí na rozšířenou praxi AI botů ignorujících protokol `robots.txt`, což je dlouhodobý, ale nevymahatelný webový standard.
V březnu 2025 společnost eskalovala svou taktiku, když nasadila „AI Labyrint“, sofistikovaný systém klamání. Tento nástroj láká nevyhovující roboty do bludiště falešného, automaticky generovaného obsahu, který je navržen tak, aby plýtval jejich zdroji a znečišťoval jejich datové soubory a zároveň poskytoval Cloudflare cenné signály chování pro své detekční modely.
Generální ředitel Cloudflare Matthew Prince se hlasitě vyjádřil k odhodlání společnosti prosazovat tato nová pravidla a odmítl myšlenku, že společnosti s umělou inteligencí jsou příliš silné na to, aby je zastavily. Již dříve zdůraznil každodenní bitvy společnosti se státem sponzorovanými hackery jako důkaz jejích schopností.
Iniciativa Cloudflare nakonec představuje jeden z nejvýznamnějších dosavadních pokusů o znovunastolení rovnováhy mezi tvůrci obsahu a giganty AI, kteří spoléhají na jejich práci. Vytvořením technického a finančního rámce pro kompenzaci společnost sází na to, že dokáže zajistit budoucnost originálního obsahu na bezplatném a živém internetu. Úspěch Pay Per Crawl by mohl stanovit nový standard pro to, jak umělá inteligence interaguje s informacemi vytvořenými lidmi, které ji pohání, a jak si je váží.
