Cloudflare, en webserviceudbyder, har lanceret en række nye AI-crawler-værktøjer såsom AI Audit og Block AI Scrapers and Crawlers. Disse værktøjer er designet til at gøre det nemt for webstedsejere, skabere og udgivere at beslutte, om de vil tillade AI-crawlere at få adgang til deres indhold. I denne forbindelse sagde Cloudflare: "Når AI-crawlere får adgang til webstedsindhold, kan alle Cloudflare-brugere gennemgå og kontrollere det."

AI Audit kan overvåge typer og specifikke aktiviteter for AI-crawlere. Specifikt tager AI Audit de logfiler, der er indsamlet fra webstedsbesøg, og leder efter brugeragenter, der matcher kendte AI-crawlere, samt samler hver enkelt crawlers aktivitet. Det vil også give filtre, så webmastere kan se aktiviteten af ​​AI-crawlere fra en bestemt kilde. Med AI Audit kan webmastere se forskellige adfærd hos AI-crawlere, herunder besøgsfrekvensen og det specifikke indhold, der er adgang til. Derudover kan webmastere også se det?mest populære indhold? af hjemmesiden gennem AI Audit for at forstå antallet af gange, det relevante indhold er blevet crawlet i en bestemt periode.

Cloudflares blogindlæganført, ?Vi synes, du skal vide hvorfor, hvornår og hvor ofte AI-crawlere crawler dit websted. Ved at bruge disse data kan du begynde at analysere, hvordan AI-crawlere får adgang til dit websted.?Desuden, påpegede Cloudflare at ?mange AI-virksomheder bruger flere crawlere til at udføre forskellige opgaver. Disse forskelle er vigtige. Scanninger fra forskellige typer crawlere kan påvirke dit websteds trafik eller indholdstilskrivning.?

På den anden side,Bloker AI-skrabere og crawlereværktøjer giver webstedsadministratorer mulighed for at blokere alle AI-crawlere med et enkelt klik. Med hensyn til dette værktøj sagde Cloudflare, ?Denne mulighed med et enkelt klik vil blokere kendte AI-crawlere fra at få adgang til dit websted baseret på en liste, der vedligeholdes af Cloudflare.?Når blokering er på plads, kan du og dit team træffe mere komfortable beslutninger om, hvad de skal gøre med dit indhold næste gang.?

Det er rapporteret, at hvis hjemmesidens administrator beslutter at ?ikke tillade nogen kravling,? det behøver kun at holde Block AI Scrapers og Crawlers på. Hvis du vil tillade nogle AI-crawlere at crawle selektivt, understøtter Cloudflare også webstedsadministratorer i at gøre det.Administratorer kan også oprette reglerligesom?Bloker alle AI-crawlere, undtagen dem fra en bestemt platforms.?Cloudflare understregede det?udover at anvende disse nye filtre, anbefaler vi, at kunder overvejer at opdatere deres servicevilkår for at dække denne nye brugssag.?

Det er værd at nævne, at Cloudflare også annoncerede, at det vil lancere en markedsplads næste år, der giver AI-virksomheder mulighed for at betale for skraberettigheder til webstedsindhold. Ifølge Cloudflare kan webstedsoperatører sætte deres websteder på dette marked, og hvis en AI-udvikler er villig til at betale for sit indhold, kan de give sidstnævnte en grænseflade til at skrabe webstedets indhold til træning af store AI-modeller.