Cloudflare, un furnizor de servicii web, a lansat o serie de noi instrumente AI Crawlers, cum ar fi AI Audit și Block AI Rtars and Crawlers. Aceste instrumente sunt concepute pentru a facilita proprietarii de site -uri web, creatorii și editorii să decidă dacă să permită crawler -urilor AI să -și acceseze conținutul. În acest sens, Cloudflare a spus: „Când AI Crawlers accesează conținutul site -ului web, toți utilizatorii CloudFlare îl pot revizui și controla.”

AIDIT AI poate monitoriza tipurile și activitățile specifice ale crawler -urilor AI. Mai exact, AI Audit ia jurnalele colectate din vizitele site -ului web și caută agenți de utilizator care se potrivesc cu crawlerele AI cunoscute, precum și agregă activitatea fiecărui crawler. De asemenea, va furniza filtre, astfel încât webmasterii să poată vedea activitatea crawler -urilor AI dintr -o anumită sursă. Cu auditul AI, webmasterii pot vizualiza diverse comportamente ale crawlerelor AI, inclusiv frecvența vizitelor și conținutul specific accesat. În plus, webmasterii pot vizualiza, de asemenea, „cel mai popular conținut” al site -ului web prin auditul AI pentru a înțelege numărul de ori în care conținutul relevant a fost târât într -o anumită perioadă.

Postarea pe blog a Cloudflarea declarat, „Credem că ar trebui să știți de ce, când și cât de des Crawler -urile AI îți târâie site -ul. Folosind aceste date, puteți începe să analizați modul în care Crawler -urile AI accesează site -ul dvs. web."În plus, Cloudflare a subliniat că „Multe companii AI folosesc mai multe crawlere pentru a îndeplini diferite sarcini. Aceste diferențe sunt importante. Scanările de la diferite tipuri de crawlere pot afecta traficul site -ului sau atribuirea conținutului.„

Pe de altă parte,Blocați răzuitorii și crawlerele AIInstrumentele permit managerilor de site -uri să blocheze toate crawlerele AI cu un singur clic. În ceea ce privește acest instrument, Cloudflare a spus, „Această opțiune cu un singur clic va împiedica accesul AI cunoscut de la accesarea site-ului dvs. web pe baza unei liste întreținute de CloudFlare."Când blocarea este în vigoare, dvs. și echipa dvs. puteți lua decizii mai confortabile cu privire la ce să faceți cu conținutul dvs. în continuare. ”

Se raportează că, dacă administratorul site -ului decide „nu permite nici o târâre”, Trebuie doar să mențină războaiele de bloc AI și crawlerele. Dacă doriți să permiteți unor crawler -uri AI să se târască selectiv, CloudFlare acceptă, de asemenea, administratorii site -ului web în acest sens.Administratorii pot crea, de asemenea, regulica„Blocați toate crawlerele AI, cu excepția celor de pe platforma specificăs. ”Cloudflare a subliniat că„Pe lângă aplicarea acestor filtre noi, recomandăm clienților să ia în considerare actualizarea condițiilor lor de serviciu pentru a acoperi acest nou caz de utilizare.„

De menționat este faptul că Cloudflare a anunțat, de asemenea, că va lansa o piață anul viitor, permițând companiilor AI să plătească pentru războaiele de răzuire a conținutului site -ului web. Potrivit Cloudflare, operatorii de site -uri web își pot pune site -urile pe această piață, iar dacă un dezvoltator AI este dispus să plătească pentru conținutul său, aceștia pot oferi acestora din urmă o interfață pentru răzuirea conținutului site -ului web pentru formarea modelelor mari de AI.