Cloudflare, een webserviceprovider, heeft een reeks nieuwe AI-crawlerstools gelanceerd, zoals AI Audit en Block AI Scrapers and Crawlers. Deze tools zijn ontworpen om het voor website-eigenaren, makers en uitgevers gemakkelijk te maken om te beslissen of ze AI-crawlers toegang tot hun inhoud willen geven. In dit verband zei Cloudflare: “Wanneer AI-crawlers toegang krijgen tot website-inhoud, kunnen alle Cloudflare-gebruikers deze bekijken en controleren.”
AI Audit kan de typen en specifieke activiteiten van AI-crawlers monitoren. Concreet gebruikt AI Audit de logboeken die zijn verzameld tijdens websitebezoeken en zoekt naar user-agents die overeenkomen met bekende AI-crawlers, en verzamelt de activiteit van elke crawler. Het biedt ook filters zodat webmasters de activiteit van AI-crawlers uit een bepaalde bron kunnen zien. Met AI Audit kunnen webmasters verschillende gedragingen van AI-crawlers bekijken, inclusief de frequentie van bezoeken en de specifieke inhoud waartoe toegang wordt verkregen. Daarnaast kunnen webmasters via AI Audit ook de ‘meest populaire inhoud’ van de website bekijken om inzicht te krijgen in het aantal keren dat de relevante inhoud in een bepaalde periode is gecrawld.
Cloudflare's blogpostverklaarde: “Wij vinden dat u moet weten waarom, wanneer en hoe vaak AI-crawlers uw website crawlen. Met behulp van deze gegevens kunt u beginnen met analyseren hoe AI-crawlers toegang krijgen tot uw website.”In aanvulling, wees Cloudflare erop dat “veel AI-bedrijven gebruiken meerdere crawlers om verschillende taken uit te voeren. Deze verschillen zijn belangrijk. Scans van verschillende typen crawlers kunnen van invloed zijn op het verkeer op uw site of op de inhoudsattributie.“
Anderzijds,Blokkeer AI-scrapers en crawlersMet tools kunnen websitebeheerders alle AI-crawlers met één klik blokkeren. Over deze tool zei Cloudflare: “Deze optie met één klik blokkeert bekende AI-crawlers de toegang tot uw website op basis van een lijst die wordt bijgehouden door Cloudflare.”Wanneer de blokkering is doorgevoerd, kunnen jij en je team gemakkelijker beslissingen nemen over wat je vervolgens met je inhoud gaat doen.”
Er wordt gemeld dat als de websitebeheerder besluit om “laat geen kruipen toe"Het hoeft alleen Block AI Scrapers en Crawlers ingeschakeld te houden. Als je sommige AI-crawlers selectief wilt laten crawlen, ondersteunt Cloudflare websitebeheerders daarbij ook.Beheerders kunnen ook regels makenleuk vinden“Blokkeer alle AI-crawlers, behalve die van een specifiek platformS."Cloudflare benadrukte dat“Naast het toepassen van deze nieuwe filters raden we klanten aan om hun servicevoorwaarden bij te werken om deze nieuwe gebruikssituatie te dekken.“
Het is vermeldenswaard dat Cloudflare ook heeft aangekondigd dat het volgend jaar een marktplaats zal lanceren, waardoor AI-bedrijven kunnen betalen voor het schrapen van rechten op website-inhoud. Volgens Cloudflare kunnen website-exploitanten hun websites op deze markt zetten, en als een AI-ontwikkelaar bereid is voor de inhoud ervan te betalen, kunnen zij laatstgenoemde voorzien van een interface voor het schrapen van de inhoud van de website voor het trainen van grote AI-modellen.
