Cloudflare, poskytovatel webových služeb, spustil řadu nových nástrojů pro prohledávače AI, jako je AI Audit a Block AI Scrapers and Crawlers. Tyto nástroje jsou navrženy tak, aby usnadnily vlastníkům webových stránek, tvůrcům a vydavatelům rozhodnutí, zda povolit prohledávačům AI přístup k jejich obsahu. V tomto ohledu Cloudflare řekl: „Když prohledávače AI přistupují k obsahu webových stránek, všichni uživatelé Cloudflare jej mohou kontrolovat a ovládat.“

AI Audit může monitorovat typy a konkrétní aktivity prolézacích modulů AI. Konkrétně AI Audit bere protokoly shromážděné z návštěv webových stránek a hledá uživatelské agenty, které odpovídají známým prohledávačům AI, a také agreguje aktivitu každého prohledávače. Poskytne také filtry, aby webmasteři viděli aktivitu prohledávačů AI z konkrétního zdroje. Pomocí auditu AI mohou webmasteři zobrazit různé chování prohledávačů AI, včetně frekvence návštěv a konkrétního obsahu, ke kterému přistupují. Kromě toho mohou webmasteři také zobrazit ?nejpopulárnější obsah? webu prostřednictvím AI Auditu, abyste zjistili, kolikrát byl relevantní obsah procházen za určité období.

Blogový příspěvek Cloudflareuvedeno, ?Myslíme si, že byste měli vědět, proč, kdy a jak často prohledávače AI procházejí váš web. Pomocí těchto dat můžete začít analyzovat, jak prohledávače AI přistupují k vašemu webu.?Navíc, Cloudflare poukázal na to?mnoho společností s umělou inteligencí používá více prohledávačů k provádění různých úkolů. Tyto rozdíly jsou důležité. Skenování z různých typů prohledávačů může ovlivnit návštěvnost vašeho webu nebo atribuci obsahu.?

Na druhé straně,Blokujte škrabky a prohledávače umělé inteligencenástroje umožňují správcům webových stránek zablokovat všechny prohledávače AI jediným kliknutím. Pokud jde o tento nástroj, Cloudflare řekl, ?Tato možnost jedním kliknutím zablokuje známé prohledávače AI v přístupu k vašemu webu na základě seznamu spravovaného Cloudflare.?Když je blokování zavedeno, můžete vy a váš tým pohodlněji rozhodovat o tom, co dál s vaším obsahem.

Uvádí se, že pokud se správce webu rozhodne ?nedovolit žádné procházení,? potřebuje pouze nechat zapnuté škrabky a prohledávače Block AI. Pokud chcete některým prohledávačům s umělou inteligencí povolit selektivní procházení, Cloudflare v tom také podporuje správce webových stránek.Správci mohou také vytvářet pravidlajako?Blokujte všechny prohledávače AI, kromě těch z konkrétní platformys.?Cloudflare to zdůraznil?kromě použití těchto nových filtrů doporučujeme zákazníkům zvážit aktualizaci smluvních podmínek tak, aby zahrnovaly tento nový případ použití.?

Za zmínku stojí, že Cloudflare také oznámila, že v příštím roce spustí tržiště, které umožní společnostem AI platit za scrapingová práva na obsah webových stránek. Podle Cloudflare mohou provozovatelé webových stránek umístit své webové stránky na tento trh, a pokud je vývojář AI ochoten za jeho obsah zaplatit, může mu poskytnout rozhraní pro seškrabování obsahu webu pro školení velkých modelů AI.