CloudFlare, en webbtjänsteleverantör, har lanserat en serie nya AI -sökterverktyg som AI -revision och blockera AI -skrapare och crawlers. Dessa verktyg är utformade för att göra det enkelt för webbplatsägare, skapare och förläggare att bestämma sig för att låta AI -sökrobotarna få åtkomst till deras innehåll. I detta avseende sa CloudFare: "När AI Crawlers får tillgång till webbplatsens innehåll kan alla CloudFare -användare granska och kontrollera det."

AI -revision kan övervaka typer och specifika aktiviteter för AI -crawlers. Specifikt tar AI -revisionen loggarna som samlas in från webbplatsbesök och letar efter användaragenter som matchar kända AI -sökare, samt aggregerar aktiviteten för varje crawler. Det kommer också att tillhandahålla filter så att webbansvariga kan se aktiviteten hos AI -sökare från en viss källa. Med AI -revision kan webbansvariga se olika beteenden hos AI -crawlers, inklusive frekvensen av besök och det specifika innehållet som har tillgång till. Dessutom kan webbansvariga också se det "mest populära innehållet" på webbplatsen genom AI -revision för att förstå antalet gånger det relevanta innehållet har kröpats under en viss period.

CloudFlares blogginlägguppgav, “Vi tycker att du borde veta varför, när och hur ofta AI -sökare genomsöker din webbplats. Med hjälp av dessa data kan du börja analysera hur AI -sökare får åtkomst till din webbplats.”Dessutom, CloudFlare påpekade att "Många AI -företag använder flera crawlers för att utföra olika uppgifter. Dessa skillnader är viktiga. Skanningar från olika typer av sökrobotar kan påverka webbplatsens trafik eller innehållsattribut.”

Å andra sidan,Block AI Scrapers and CrawlersVerktyg gör det möjligt för webbplatshanterare att blockera alla AI -crawlers med ett klick. När det gäller detta verktyg sa Cloudflare: ”Detta enklickalternativ kommer att blockera kända AI-sökrobotar från att komma åt din webbplats baserat på en lista som upprätthålls av CloudFlare.”När blockering är på plats kan du och ditt team fatta mer bekväma beslut om vad du ska göra med ditt innehåll nästa. ”

Det rapporteras att om webbplatsadministratören beslutar att "tillåt inte någon krypning, ”Det behöver bara hålla block AI -skrapare och sökrobotar på. Om du vill låta vissa AI -sökare selektivt krypa, stöder CloudFlare också webbplatsadministratörer på detta sätt.Administratörer kan också skapa reglersom”Blockera alla AI -sökrobotar, utom de från specifika plattformars. ”Cloudflare betonade det”Förutom att använda dessa nya filter rekommenderar vi att kunder överväger att uppdatera sina användarvillkor för att täcka detta nya användningsfall.”

Det är värt att nämna att CloudFare också meddelade att det kommer att lansera en marknadsplats nästa år, vilket gör att AI -företag kan betala för skrapningsrättigheter till webbplatsinnehåll. Enligt CloudFlare kan webbplatsoperatörer sätta sina webbplatser på denna marknad, och om en AI -utvecklare är villig att betala för sitt innehåll kan de ge det senare ett gränssnitt för att skrapa webbplatsens innehåll för utbildning av stora AI -modeller.