Cloudflare, um provedor de serviços web, lançou uma série de novas ferramentas de rastreadores de IA, como AI Audit e Block AI Scrapers and Crawlers. Essas ferramentas são projetadas para tornar mais fácil para proprietários, criadores e editores de sites decidirem se permitem que rastreadores de IA acessem seu conteúdo. A esse respeito, Cloudflare disse: “Quando os rastreadores de IA acessam o conteúdo do site, todos os usuários da Cloudflare podem revisá-lo e controlá-lo”.

A Auditoria de IA pode monitorar os tipos e atividades específicas de rastreadores de IA. Especificamente, o AI Audit coleta os registros coletados de visitas ao site e procura agentes de usuários que correspondam aos rastreadores de IA conhecidos, além de agregar a atividade de cada rastreador. Ele também fornecerá filtros para que os webmasters possam ver a atividade dos rastreadores de IA de uma fonte específica. Com o AI Audit, os webmasters podem visualizar vários comportamentos dos rastreadores de IA, incluindo a frequência das visitas e o conteúdo específico acessado. Além disso, os webmasters também podem visualizar o “conteúdo mais popular”? do site por meio do AI Audit para saber o número de vezes que o conteúdo relevante foi rastreado em um determinado período.

Postagem do blog da Cloudflareafirmou, ?Achamos que você deveria saber por que, quando e com que frequência os rastreadores de IA rastreiam seu site. Usando esses dados, você pode começar a analisar como os rastreadores de IA acessam seu site.?Além disso, Cloudflare apontou isso?muitas empresas de IA usam vários rastreadores para realizar tarefas diferentes. Essas diferenças são importantes. As verificações de diferentes tipos de rastreadores podem afetar o tráfego do seu site ou a atribuição de conteúdo.?

Por outro lado,Bloquear raspadores e rastreadores de IAferramentas permitem que os gerentes de sites bloqueiem todos os rastreadores de IA com um clique. Em relação a esta ferramenta, Cloudflare disse:?Esta opção de um clique bloqueará o acesso de rastreadores de IA conhecidos ao seu site com base em uma lista mantida pela Cloudflare.?Quando o bloqueio está em vigor, você e sua equipe podem tomar decisões mais confortáveis ​​sobre o que fazer a seguir com seu conteúdo.

É relatado que se o administrador do site decidir?não permitir nenhum rastreamento,? ele só precisa manter Block AI Scrapers e Crawlers ativados. Se você quiser permitir que alguns rastreadores de IA rastreiem seletivamente, a Cloudflare também oferece suporte aos administradores de sites para fazer isso.Os administradores também podem criar regrascomo?Bloqueie todos os rastreadores de IA, exceto aqueles de plataforma específicaS.?Cloudflare enfatizou que?além de aplicar esses novos filtros, recomendamos que os clientes considerem atualizar seus termos de serviço para cobrir esse novo caso de uso.?

Vale ressaltar que a Cloudflare também anunciou que lançará um mercado no próximo ano, permitindo que empresas de IA paguem pela retirada de direitos sobre o conteúdo do site. De acordo com a Cloudflare, os operadores de sites podem colocar seus sites neste mercado e, se um desenvolvedor de IA estiver disposto a pagar por seu conteúdo, eles podem fornecer a este último uma interface para extrair o conteúdo do site para o treinamento de grandes modelos de IA.