Cloudflare, постачальник веб -сервісів, запустив серію нових інструментів AI Scrawlers, таких як AI Audit та блокувати скребки та сканери AI. Ці інструменти розроблені для того, щоб полегшити власникам веб -сайтів, творцям та видавцям вирішити, чи дозволяти AI -сканерам отримати доступ до їх вмісту. У зв'язку з цим CloudFlare сказав: "Коли AI -сканери отримують доступ до вмісту веб -сайту, всі користувачі CloudFlare можуть переглянути та керувати ним".
Аудит AI може контролювати типи та конкретну діяльність AI -сканерів. Зокрема, AI Audit бере журнали, зібрані під час відвідувань веб -сайтів, і шукає агентів користувачів, які відповідають відомим AI -сканерам, а також агрегують активність кожного гусениця. Він також надасть фільтри, щоб веб -майстри могли бачити діяльність AI -сканерів з певного джерела. За допомогою AI Audit, веб -майстри можуть переглядати різні поведінки сканерів AI, включаючи частоту відвідувань та конкретний вміст, доступ до якого доступний. Крім того, веб -майстри також можуть переглянути "найпопулярніший вміст" веб -сайту через AI Audit, щоб зрозуміти кількість разів, коли відповідний вміст був повзаний у певний період.
Повідомлення в блозі CloudFlareзаявив, "Ми думаємо, що ви повинні знати, чому, коли і як часто Ай -сканери повзають ваш веб -сайт. Використовуючи ці дані, ви можете почати аналізувати, як AI -сканери отримують доступ до вашого веб -сайту.”На додаток, Cloudflare зазначив, що "Багато компаній AI використовують кілька сканерів для виконання різних завдань. Ці відмінності важливі. Сканування різних типів сканерів можуть впливати на трафік або атрибуцію вмісту вашого сайту.“
З іншого боку,Блокувати скребки та сканери AIІнструменти дозволяють менеджерам веб -сайтів блокувати всі AI -сканери одним клацанням. Щодо цього інструменту, Cloudflare сказав:Цей варіант одного клацання заблокує відомих AI-сканерів до доступу до вашого веб-сайту на основі списку, що підтримується CloudFlare.”Коли блокування є на місці, ви та ваша команда можете приймати більш комфортні рішення щодо того, що робити з вашим вмістом далі ».
Повідомляється, що якщо адміністратор веб -сайту вирішить «не дозволяти жодного повзання, ”Це потрібно лише тримати блоки AI -скребки та сканери. Якщо ви хочете дозволити деяким AI -сканерам вибірково повзати, CloudFlare також підтримує адміністраторів веб -сайтів у цьому.Адміністратори також можуть створювати правилаяк“Блокуйте всі AI -сканери, за винятком конкретної платформиs. "Cloudflare підкреслив це“Окрім застосування цих нових фільтрів, ми рекомендуємо клієнтам розглянути питання про оновлення своїх умов обслуговування для покриття цього нового випадку використання.“
Варто зазначити, що CloudFlare також оголосив, що він запустить ринок наступного року, що дозволить компаніям AI платити за скребки прав на вміст веб -сайту. За словами CloudFlare, оператори веб -сайтів можуть розмістити свої веб -сайти на цьому ринку, і якщо розробник AI готовий платити за його вміст, вони можуть забезпечити останній інтерфейс для вискоблювання вмісту веб -сайту для навчання великих моделей AI.
