Cloudflare, en webbtjänstleverantör, har lanserat en serie nya AI-crawlers-verktyg som AI Audit och Block AI Scrapers and Crawlers. Dessa verktyg är utformade för att göra det enkelt för webbplatsägare, skapare och utgivare att bestämma om de ska tillåta AI-sökrobotar att komma åt deras innehåll. I detta avseende sa Cloudflare: "När AI-sökrobotar kommer åt webbplatsinnehåll kan alla Cloudflare-användare granska och kontrollera det."

AI Audit kan övervaka typerna och specifika aktiviteter för AI-sökrobotar. Specifikt tar AI Audit loggarna som samlats in från webbplatsbesök och letar efter användaragenter som matchar kända AI-sökrobotar, samt sammanställer aktiviteten för varje sökrobot. Det kommer också att tillhandahålla filter så att webbansvariga kan se aktiviteten hos AI-sökrobotar från en viss källa. Med AI-revision kan webbansvariga se olika beteenden hos AI-sökrobotar, inklusive besöksfrekvensen och det specifika innehållet som nås. Dessutom kan webbansvariga också se det "mest populära innehållet" på webbplatsen genom AI Audit för att förstå hur många gånger det relevanta innehållet har genomsökts under en viss period.

Cloudflares blogginlägguppgav, "Vi tycker att du bör veta varför, när och hur ofta AI-sökrobotar genomsöker din webbplats. Med hjälp av dessa data kan du börja analysera hur AI-sökrobotar kommer åt din webbplats.”Dessutom, påpekade Cloudflare att "många AI-företag använder flera sökrobotar för att utföra olika uppgifter. Dessa skillnader är viktiga. Genomsökningar från olika typer av sökrobotar kan påverka din webbplats trafik eller innehållstillskrivning."

Å andra sidan,Blockera AI-skrapor och sökrobotarverktyg tillåter webbplatsansvariga att blockera alla AI-sökrobotar med ett klick. Angående detta verktyg sa Cloudflare, "Det här alternativet med ett klick kommer att blockera kända AI-sökrobotar från att komma åt din webbplats baserat på en lista som underhålls av Cloudflare.”När blockering är på plats kan du och ditt team fatta mer bekväma beslut om vad de ska göra med ditt innehåll härnäst."

Det rapporteras att om webbplatsens administratör beslutar att "inte tillåta någon genomsökning", behöver den bara hålla Block AI Scrapers och Crawlers på. Om du vill tillåta vissa AI-sökrobotar att genomsöka selektivt, stöder Cloudflare även webbplatsadministratörer att göra det.Administratörer kan också skapa reglersom"Blockera alla AI-sökrobotar, förutom de från specifik plattforms.”Cloudflare betonade det"förutom att använda dessa nya filter rekommenderar vi att kunder överväger att uppdatera sina användarvillkor för att täcka detta nya användningsfall."

Det är värt att nämna att Cloudflare också tillkännagav att de kommer att lansera en marknadsplats nästa år, vilket gör att AI-företag kan betala för skraprättigheter till webbplatsinnehåll. Enligt Cloudflare kan webbplatsoperatörer sätta sina webbplatser på denna marknad, och om en AI-utvecklare är villig att betala för dess innehåll kan de förse den senare med ett gränssnitt för att skrapa webbplatsens innehåll för utbildning av stora AI-modeller.