Cloudflare, dostawca usług internetowych, uruchomił serię nowych narzędzi do robotów AI, takich jak AI Audit oraz Block AI Scrapers and Crawlers. Narzędzia te zaprojektowano tak, aby ułatwić właścicielom witryn, twórcom i wydawcom podjęcie decyzji, czy zezwolić robotom AI na dostęp do ich treści. W związku z tym Cloudflare stwierdził: „Kiedy roboty AI uzyskują dostęp do zawartości witryny internetowej, wszyscy użytkownicy Cloudflare mogą ją przeglądać i kontrolować”.
AI Audit może monitorować typy i konkretne działania robotów AI. W szczególności AI Audit zbiera logi zebrane podczas wizyt na stronach internetowych i wyszukuje agenty użytkownika pasujące do znanych robotów AI, a także agreguje aktywność każdego robota. Zapewni także filtry, dzięki którym webmasterzy będą mogli zobaczyć aktywność robotów AI z określonego źródła. Dzięki AI Audit webmasterzy mogą przeglądać różne zachowania robotów AI, w tym częstotliwość wizyt i konkretną dostępną treść. Ponadto webmasterzy mogą także przeglądać „najpopularniejsze treści”. strony internetowej za pomocą AI Audit, aby sprawdzić, ile razy dana treść została przeszukana w określonym okresie.
Wpis na blogu Cloudflarestwierdził,?Uważamy, że powinieneś wiedzieć, dlaczego, kiedy i jak często roboty AI indeksują Twoją witrynę. Korzystając z tych danych, możesz rozpocząć analizę sposobu, w jaki roboty AI uzyskują dostęp do Twojej witryny.?Ponadto, Cloudflare zwrócił na to uwagę?wiele firm zajmujących się sztuczną inteligencją korzysta z wielu robotów indeksujących do wykonywania różnych zadań. Te różnice są istotne. Skany wykonane przez różne typy robotów mogą mieć wpływ na ruch w Twojej witrynie lub na atrybucję treści.?
Z drugiej strony,Blokuj skrobaki i roboty AInarzędzia pozwalają menedżerom witryn blokować wszystkie roboty AI jednym kliknięciem. Jeśli chodzi o to narzędzie, Cloudflare powiedział:Ta opcja dostępna jednym kliknięciem zablokuje znanym robotom AI dostęp do Twojej witryny w oparciu o listę prowadzoną przez Cloudflare.?Po włączeniu blokady Ty i Twój zespół możecie podejmować wygodniejsze decyzje dotyczące tego, co dalej zrobić z treściami.
Poinformowano, że jeśli administrator serwisu zdecyduje się na ?nie pozwalać na żadne czołganie się,? musi jedynie włączyć zgarniacze i roboty Block AI. Jeśli chcesz zezwolić niektórym robotom AI na selektywne indeksowanie, Cloudflare wspiera w tym także administratorów witryn.Administratorzy mogą również tworzyć regułytak jak?Blokuj wszystkie roboty AI, z wyjątkiem tych z określonej platformyS.?Cloudflare to podkreślił?oprócz zastosowania tych nowych filtrów zalecamy klientom rozważenie aktualizacji warunków korzystania z usług w celu uwzględnienia tego nowego przypadku użycia.?
Warto wspomnieć, że Cloudflare ogłosiło również, że w przyszłym roku uruchomi platformę handlową, która umożliwi firmom zajmującym się sztuczną inteligencją płacenie za prawa do scrapowania treści stron internetowych. Według Cloudflare operatorzy witryn internetowych mogą umieszczać swoje witryny na tym rynku, a jeśli twórca sztucznej inteligencji jest skłonny zapłacić za jej zawartość, może zapewnić temu drugiemu interfejs do pobierania zawartości witryny w celu uczenia dużych modeli sztucznej inteligencji.
