CloudFlare, en webtjenesteudbyder, har lanceret en række nye AI Crawlers -værktøjer såsom AI -revision og blokering af AI -skrabere og crawlere. Disse værktøjer er designet til at gøre det nemt for webstedsejere, skabere og udgivere at beslutte, om AI -crawlere får adgang til deres indhold. I denne henseende sagde CloudFlare, "Når AI Crawlers får adgang til webstedsindhold, kan alle CloudFlare -brugere gennemgå og kontrollere det."

AI -revision kan overvåge typer og specifikke aktiviteter hos AI -crawlers. Specifikt tager AI -revision de logfiler, der er indsamlet fra webstedets besøg og ser efter brugeragenter, der matcher kendte AI -crawlere, samt samler aktiviteten for hver crawler. Det vil også give filtre, så webmastere kan se aktiviteten af ​​AI -crawlere fra en bestemt kilde. Med AI -revision kan webmastere se forskellige adfærd hos AI -crawlere, herunder hyppigheden af ​​besøg og det specifikke indhold, der er adgang til. Derudover kan webmastere også se det "mest populære indhold" på webstedet gennem AI -revision for at forstå antallet af gange, det relevante indhold er gennemsøgt i en bestemt periode.

Cloudflares blogindlægangivet, "Vi synes, du burde vide hvorfor, hvornår og hvor ofte AI Crawlers gennemsøger dit websted. Ved hjælp af disse data kan du begynde at analysere, hvordan AI -crawlere får adgang til dit websted."Derudover, Cloudflare påpegede, at “Mange AI -virksomheder bruger flere crawlere til at udføre forskellige opgaver. Disse forskelle er vigtige. Scanninger fra forskellige typer crawlere kan påvirke dit websteds trafik eller indholdattribution."

På den anden side,Bloker AI -skrabere og crawlereVærktøjer giver webstedsledere mulighed for at blokere alle AI -crawlere med et enkelt klik. Med hensyn til dette værktøj sagde Cloudflare, “Denne option med et klik vil blokere kendte AI-crawlere fra at få adgang til dit websted baseret på en liste vedligeholdt af CloudFlare."Når blokering er på plads, kan du og dit team tage mere behagelige beslutninger om, hvad du skal gøre med dit indhold næste gang. ”

Det rapporteres, at hvis webstedets administrator beslutter at “Tillad ikke nogen gennemsøgning, ”Det behøver kun at holde blokering af AI -skrabere og crawlere på. Hvis du vil tillade, at nogle AI -crawlere kan gennemgå selektivt, understøtter CloudFlare også webstedsadministratorer ved at gøre det.Administratorer kan også oprette reglerligesom"Bloker alle AI -crawlere, undtagen dem fra specifik platforms. ”Cloudflare understregede det"Ud over at anvende disse nye filtre anbefaler vi, at kunder overvejer at opdatere deres servicevilkår for at dække denne nye brugssag."

Det er værd at nævne, at CloudFlare også annoncerede, at det vil lancere en markedsplads næste år, hvilket giver AI -virksomheder mulighed for at betale for skrabe rettigheder til webstedsindhold. Ifølge CloudFlare kan webstedsoperatører placere deres websteder på dette marked, og hvis en AI -udvikler er villig til at betale for sit indhold, kan de give sidstnævnte en grænseflade til at skrabe webstedets indhold til uddannelse af store AI -modeller.