Cloudflare, un fournisseur de services Web, a lancé une série de nouveaux outils d'exploration d'IA tels que AI Audit et Block AI Scrapers and Crawlers. Ces outils sont conçus pour permettre aux propriétaires, créateurs et éditeurs de sites Web de décider facilement s'ils autorisent les robots d'exploration IA à accéder à leur contenu. À cet égard, Cloudflare a déclaré : « Lorsque les robots d'exploration IA accèdent au contenu d'un site Web, tous les utilisateurs de Cloudflare peuvent l'examiner et le contrôler. »
AI Audit peut surveiller les types et les activités spécifiques des robots d’exploration IA. Plus précisément, AI Audit prend les journaux collectés lors des visites de sites Web et recherche les agents utilisateurs qui correspondent aux robots d'exploration IA connus, et regroupe l'activité de chaque robot d'exploration. Il fournira également des filtres afin que les webmasters puissent voir l'activité des robots d'exploration IA à partir d'une source particulière. Avec AI Audit, les webmasters peuvent visualiser divers comportements des robots d'exploration IA, notamment la fréquence des visites et le contenu spécifique consulté. En outre, les webmasters peuvent également consulter le « contenu le plus populaire » du site Web via AI Audit pour connaître le nombre de fois que le contenu concerné a été exploré au cours d'une certaine période.
Article de blog de Cloudflarea déclaré : «Nous pensons que vous devriez savoir pourquoi, quand et à quelle fréquence les robots d’exploration IA explorent votre site Web. En utilisant ces données, vous pouvez commencer à analyser la manière dont les robots d’exploration IA accèdent à votre site Web.»En outre, Cloudflare a souligné que «de nombreuses entreprises d’IA utilisent plusieurs robots d’exploration pour accomplir différentes tâches. Ces différences sont importantes. Les analyses effectuées par différents types de robots d'exploration peuvent affecter le trafic de votre site ou l'attribution du contenu."
D'autre part,Bloquer les grattoirs et les robots d'exploration de l'IALes outils permettent aux gestionnaires de sites Web de bloquer tous les robots d'exploration IA en un seul clic. Concernant cet outil, Cloudflare a déclaré : «Cette option en un clic empêchera les robots d'exploration IA connus d'accéder à votre site Web sur la base d'une liste maintenue par Cloudflare.»Lorsque le blocage est en place, vous et votre équipe pouvez prendre des décisions plus confortables sur la suite à donner à votre contenu.
Il est rapporté que si l’administrateur du site Web décide de «ne permet aucune exploration", il suffit de conserver Block AI Scrapers et Crawlers activés. Si vous souhaitez autoriser certains robots d'exploration IA à explorer de manière sélective, Cloudflare aide également les administrateurs de sites Web à le faire.Les administrateurs peuvent également créer des règlescomme"Bloquer tous les robots d'exploration IA, à l'exception de ceux d'une plateforme spécifiques. »Cloudflare a souligné que"en plus d'appliquer ces nouveaux filtres, nous recommandons aux clients d'envisager de mettre à jour leurs conditions de service pour couvrir ce nouveau cas d'utilisation."
Il convient de mentionner que Cloudflare a également annoncé le lancement d'une place de marché l'année prochaine, permettant aux entreprises d'IA de payer pour supprimer les droits sur le contenu des sites Web. Selon Cloudflare, les opérateurs de sites Web peuvent mettre leurs sites Web sur ce marché, et si un développeur d'IA est prêt à payer pour son contenu, ils peuvent fournir à ce dernier une interface permettant de récupérer le contenu du site Web pour la formation de grands modèles d'IA.
