Cloudflare, постачальник веб-послуг, запустив серію нових інструментів сканера AI, таких як AI Audit і Block AI Scrapers and Crawlers. Ці інструменти розроблені, щоб полегшити власникам веб-сайтів, творцям і видавцям рішення про те, чи дозволяти сканерам AI доступ до їх вмісту. У зв’язку з цим Cloudflare сказав: «Коли сканери ШІ отримують доступ до вмісту веб-сайту, усі користувачі Cloudflare можуть переглядати та контролювати його».
AI Audit може контролювати типи та конкретні дії сканерів AI. Зокрема, AI Audit бере журнали, зібрані з відвідувань веб-сайтів, і шукає агенти користувача, які відповідають відомим сканерам AI, а також агрегує діяльність кожного сканера. Він також забезпечить фільтри, щоб веб-майстри могли бачити діяльність сканерів ШІ з певного джерела. За допомогою AI Audit веб-майстри можуть переглядати різноманітну поведінку сканерів AI, зокрема частоту відвідувань і конкретний вміст, до якого ви отримали доступ. Крім того, веб-майстри також можуть переглядати «найпопулярніший вміст» веб-сайту за допомогою AI Audit, щоб визначити, скільки разів відповідний вміст сканувався за певний період.
Повідомлення в блозі Cloudflareзаявив, ?Ми вважаємо, що ви повинні знати, чому, коли та як часто ШІ-сканери сканують ваш веб-сайт. Використовуючи ці дані, ви можете почати аналізувати, як ШІ-сканери отримують доступ до вашого сайту.?Крім того, Cloudflare зазначив, що ?багато компаній ШІ використовують кілька сканерів для виконання різних завдань. Ці відмінності важливі. Сканування різними типами сканерів може вплинути на трафік вашого сайту чи атрибуцію вмісту.?
З іншого боку,Блокуйте AI скребки та сканериІнструменти дозволяють менеджерам веб-сайтів одним клацанням миші блокувати всі сканери ШІ. Стосовно цього інструменту Cloudflare сказав:Ця опція в один клік заблокує відомим сканерам AI доступ до вашого веб-сайту на основі списку, який підтримується Cloudflare.?Коли блокування діє, ви та ваша команда можете прийняти зручніші рішення про те, що робити з вашим вмістом далі.?
Повідомляється, що якщо адміністратор сайту вирішить ?не допускати повзання,? потрібно лише тримати ввімкненими скребки та сканери AI. Якщо ви хочете дозволити деяким сканерам AI сканувати вибірково, Cloudflare також підтримує адміністраторів веб-сайтів у цьому.Адміністратори також можуть створювати правилаяк?Блокуйте всі сканери AI, крім тих, які належать до певної платформис.?На цьому наголошує Cloudflare?окрім застосування цих нових фільтрів, ми рекомендуємо клієнтам розглянути можливість оновлення умов обслуговування, щоб охопити цей новий варіант використання.?
Варто згадати, що Cloudflare також оголосила, що наступного року запустить ринок, що дозволить компаніям зі штучним інтелектом платити за права на копіювання вмісту веб-сайту. Згідно з Cloudflare, оператори веб-сайтів можуть розміщувати свої веб-сайти на цьому ринку, і якщо розробник штучного інтелекту готовий платити за його вміст, вони можуть надати останньому інтерфейс для збирання вмісту веб-сайту для навчання великих моделей штучного інтелекту.
