Cloudflare, un fornitore di servizi web, ha lanciato una serie di nuovi strumenti di crawler AI come AI Audit e Block AI Scrapers and Crawlers. Questi strumenti sono progettati per consentire ai proprietari di siti Web, ai creatori e agli editori di decidere facilmente se consentire ai crawler AI di accedere ai propri contenuti. A questo proposito, Cloudflare ha affermato: "Quando i crawler AI accedono al contenuto del sito Web, tutti gli utenti Cloudflare possono esaminarlo e controllarlo".
AI Audit può monitorare i tipi e le attività specifiche dei crawler AI. Nello specifico, AI Audit prende i log raccolti dalle visite al sito web e cerca gli user agent che corrispondono ai crawler AI noti, oltre ad aggregare l'attività di ciascun crawler. Fornirà inoltre filtri in modo che i webmaster possano vedere l'attività dei crawler AI da una particolare fonte. Con AI Audit, i webmaster possono visualizzare vari comportamenti dei crawler AI, inclusa la frequenza delle visite e il contenuto specifico a cui si accede. Inoltre, i webmaster possono anche visualizzare i ?contenuti più popolari? del sito web tramite AI Audit per cogliere il numero di volte in cui il contenuto in questione è stato scansionato in un determinato periodo.
Post del blog di Cloudflaredichiarato, ?Pensiamo che dovresti sapere perché, quando e con quale frequenza i crawler AI eseguono la scansione del tuo sito web. Utilizzando questi dati, puoi iniziare ad analizzare il modo in cui i crawler AI accedono al tuo sito web.?Inoltre, Cloudflare lo ha sottolineato ?molte aziende di intelligenza artificiale utilizzano più crawler per svolgere attività diverse. Queste differenze sono importanti. Le scansioni effettuate da diversi tipi di crawler possono influire sul traffico del tuo sito o sull'attribuzione dei contenuti.?
D'altra parte,Blocca gli scraper e i crawler dell'IAgli strumenti consentono ai gestori dei siti Web di bloccare tutti i crawler AI con un clic. Per quanto riguarda questo strumento, Cloudflare ha detto: ?Questa opzione con un clic impedirà ai crawler AI noti di accedere al tuo sito Web in base a un elenco gestito da Cloudflare.?Quando è attivo il blocco, tu e il tuo team potete prendere decisioni più comode su cosa fare successivamente con i vostri contenuti.?
È stato riferito che se l'amministratore del sito web decide di ?non consentire alcuna scansione,? deve solo mantenere attivi gli scraper e i crawler Block AI. Se desideri consentire ad alcuni crawler AI di eseguire la scansione in modo selettivo, Cloudflare supporta anche gli amministratori dei siti web in questo modo.Gli amministratori possono anche creare regolePiace?Blocca tutti i crawler AI, ad eccezione di quelli di una piattaforma specificaS.?Cloudflare lo ha sottolineato?oltre ad applicare questi nuovi filtri, consigliamo ai clienti di valutare la possibilità di aggiornare i propri termini di servizio per coprire questo nuovo caso d'uso.?
Vale la pena ricordare che Cloudflare ha anche annunciato che lancerà un mercato il prossimo anno, consentendo alle aziende di intelligenza artificiale di pagare per i diritti di scraping sui contenuti del sito web. Secondo Cloudflare, gli operatori di siti web possono inserire i loro siti web in questo mercato e, se uno sviluppatore di intelligenza artificiale è disposto a pagare per i suoi contenuti, può fornirgli un'interfaccia per estrarre il contenuto del sito web per l'addestramento di grandi modelli di intelligenza artificiale.
