Cloudflare, en nettjenesteleverandør, har lansert en serie nye AI-søkerobotverktøy som AI Audit og Block AI Scrapers and Crawlers. Disse verktøyene er utviklet for å gjøre det enkelt for nettstedeiere, skapere og utgivere å bestemme om de skal tillate AI-søkeroboter å få tilgang til innholdet deres. I denne forbindelse sa Cloudflare: "Når AI-søkeroboter får tilgang til innhold på nettstedet, kan alle Cloudflare-brukere gjennomgå og kontrollere det."

AI Audit kan overvåke typene og spesifikke aktivitetene til AI-søkeroboter. Spesifikt tar AI Audit loggene som er samlet inn fra nettstedbesøk og ser etter brukeragenter som samsvarer med kjente AI-søkeroboter, samt samler aktiviteten til hver enkelt søkerobot. Det vil også gi filtre slik at webmastere kan se aktiviteten til AI-søkeroboter fra en bestemt kilde. Med AI-revisjon kan nettredaktører se ulike atferder til AI-søkeroboter, inkludert besøksfrekvensen og det spesifikke innholdet man får tilgang til. I tillegg kan webmastere også se det "mest populære innholdet" på nettstedet gjennom AI Audit for å forstå antall ganger det relevante innholdet har blitt gjennomsøkt i en viss periode.

Cloudflares blogginnlegguttalte, "Vi synes du bør vite hvorfor, når og hvor ofte AI-søkeroboter gjennomsøker nettstedet ditt. Ved å bruke disse dataene kan du begynne å analysere hvordan AI-søkeroboter får tilgang til nettstedet ditt.”I tillegg, påpekte Cloudflare at "mange AI-selskaper bruker flere robotsøkeprogrammer for å utføre forskjellige oppgaver. Disse forskjellene er viktige. Skanninger fra forskjellige typer robotsøkeprogrammer kan påvirke nettstedets trafikk eller innholdsattribusjon."

På den annen side,Blokker AI-skrapere og crawlereverktøy lar nettstedadministratorer blokkere alle AI-søkeprogrammer med ett klikk. Angående dette verktøyet sa Cloudflare, "Dette alternativet med ett klikk vil blokkere kjente AI-søkeroboter fra å få tilgang til nettstedet ditt basert på en liste vedlikeholdt av Cloudflare.”Når blokkering er på plass, kan du og teamet ditt ta mer komfortable avgjørelser om hva de skal gjøre med innholdet ditt videre."

Det rapporteres at hvis nettstedsadministratoren bestemmer seg for å "ikke tillate noen gjennomgang,” den trenger bare å holde Block AI-skrapere og crawlere på. Hvis du vil la noen AI-crawlere gjennomgå selektivt, støtter Cloudflare også nettstedsadministratorer i å gjøre det.Administratorer kan også lage reglerlike"Blokker alle AI-søkeroboter, bortsett fra de fra en bestemt plattforms."Cloudflare understreket det"i tillegg til å bruke disse nye filtrene, anbefaler vi at kunder vurderer å oppdatere vilkårene for bruk for å dekke denne nye brukssaken."

Det er verdt å nevne at Cloudflare også annonserte at de vil lansere en markedsplass neste år, slik at AI-selskaper kan betale for skraperettigheter til innhold på nettsiden. Ifølge Cloudflare kan nettstedoperatører sette sine nettsider i dette markedet, og hvis en AI-utvikler er villig til å betale for innholdet sitt, kan de gi sistnevnte et grensesnitt for å skrape nettsidens innhold for opplæring av store AI-modeller.