Cloudflare, un proveedor de servicios web, ha lanzado una serie de nuevas herramientas de rastreo de IA, como AI Audit y Block AI Scrapers and Crawlers. Estas herramientas están diseñadas para facilitar a los propietarios, creadores y editores de sitios web la decisión de permitir que los rastreadores de IA accedan a su contenido. En este sentido, Cloudflare dijo: "Cuando los rastreadores de IA acceden al contenido del sitio web, todos los usuarios de Cloudflare pueden revisarlo y controlarlo".

AI Audit puede monitorear los tipos y actividades específicas de los rastreadores de IA. Específicamente, AI Audit toma los registros recopilados de las visitas al sitio web y busca agentes de usuario que coincidan con los rastreadores de IA conocidos, además de agregar la actividad de cada rastreador. También proporcionará filtros para que los webmasters puedan ver la actividad de los rastreadores de IA desde una fuente particular. Con AI Audit, los webmasters pueden ver varios comportamientos de los rastreadores de IA, incluida la frecuencia de las visitas y el contenido específico al que se accede. Además, los webmasters también pueden ver el "contenido más popular" del sitio web a través de AI Audit para comprender la cantidad de veces que se ha rastreado el contenido relevante en un período determinado.

Publicación del blog de Cloudflaredeclaró: “Creemos que debería saber por qué, cuándo y con qué frecuencia los rastreadores de IA rastrean su sitio web. Con estos datos, puede comenzar a analizar cómo los rastreadores de IA acceden a su sitio web."Además, Cloudflare señaló que “Muchas empresas de inteligencia artificial utilizan varios rastreadores para realizar diferentes tareas. Estas diferencias son importantes. Los análisis de diferentes tipos de rastreadores pueden afectar el tráfico de su sitio o la atribución de contenido.“

Por otro lado,Bloquear raspadores y rastreadores de IALas herramientas permiten a los administradores de sitios web bloquear todos los rastreadores de IA con un solo clic. Respecto a esta herramienta, Cloudflare dijo: “Esta opción de un solo clic impedirá que los rastreadores de IA conocidos accedan a su sitio web según una lista mantenida por Cloudflare."Cuando el bloqueo está implementado, usted y su equipo pueden tomar decisiones más cómodas sobre qué hacer con su contenido a continuación”.

Se informa que si el administrador del sitio web decide “no permitir ningún rastreo”, solo necesita mantener activados Block AI Scrapers y Crawlers. Si desea permitir que algunos rastreadores de IA rastreen de forma selectiva, Cloudflare también ayuda a los administradores de sitios web a hacerlo.Los administradores también pueden crear reglas.como“Bloquee todos los rastreadores de IA, excepto aquellos de una plataforma específicas."Cloudflare enfatizó que“Además de aplicar estos nuevos filtros, recomendamos que los clientes consideren actualizar sus términos de servicio para cubrir este nuevo caso de uso.“

Vale la pena mencionar que Cloudflare también anunció que lanzará un mercado el próximo año, lo que permitirá a las empresas de inteligencia artificial pagar los derechos de extracción del contenido del sitio web. Según Cloudflare, los operadores de sitios web pueden poner sus sitios web en este mercado, y si un desarrollador de IA está dispuesto a pagar por su contenido, puede proporcionarle una interfaz para extraer el contenido del sitio web para el entrenamiento de grandes modelos de IA.