CloudFlare, un fournisseur de services Web, a lancé une série de nouveaux outils de robots d'information tels que l'audit AI et les grabyers et les robots AI. Ces outils sont conçus pour faciliter les propriétaires de sites Web, les créateurs et les éditeurs afin de décider de permettre aux robots d'exploitation d'IA d'accéder à leur contenu. À cet égard, CloudFlare a déclaré: "Lorsque les Crawlers d'AI accèdent au contenu du site Web, tous les utilisateurs de CloudFlare peuvent le réviser et le contrôler."
L'audit de l'IA peut surveiller les types et les activités spécifiques des robots d'IA. Plus précisément, AI Audit prend les journaux collectés lors des visites sur le site Web et recherche des agents utilisateur qui correspondent aux robots condamnés à l'IA, et regroupent l'activité de chaque robot. Il fournira également des filtres afin que les webmasters puissent voir l'activité des robots d'IA à partir d'une source particulière. Avec l'audit de l'IA, les webmasters peuvent afficher divers comportements des robots d'IA, y compris la fréquence des visites et le contenu spécifique accessible. De plus, les webmasters peuvent également afficher le «contenu le plus populaire» du site Web via l'audit d'IA pour saisir le nombre de fois que le contenu pertinent a été rampé dans une certaine période.
Article de blog de Cloudflarea déclaré: «Nous pensons que vous devriez savoir pourquoi, quand et à quelle fréquence les crawlers de l'IA explorent votre site Web. À l'aide de ces données, vous pouvez commencer à analyser comment les robots d'IA accédent à votre site Web."En outre, Cloudflare a souligné que «De nombreuses entreprises d'IA utilisent plusieurs robots pour accomplir différentes tâches. Ces différences sont importantes. Les analyses de différents types de robots peuvent affecter le trafic de votre site ou l'attribution du contenu."
D'autre part,Bloquer les grattoirs et les robotsLes outils permettent aux gestionnaires de sites Web de bloquer tous les robots d'IA en un seul clic. En ce qui concerne cet outil, Cloudflare a déclaré: «Cette option en un clic empêchera les robots de robots d'IA connus d'accéder à votre site Web sur la base d'une liste maintenue par CloudFlare."Lorsque le blocage est en place, vous et votre équipe pouvez prendre des décisions plus confortables sur ce qu'il faut faire avec votre contenu ensuite. »
Il est rapporté que si l'administrateur du site Web décide de «ne pas laisser ramper», Il suffit de continuer à bloquer les grattoirs AI et les chenilles. Si vous souhaitez permettre à certains robots d'IA de ramper sélectivement, CloudFlare prend également en charge les administrateurs de sites Web.Les administrateurs peuvent également créer des règlescomme"Bloquer tous les robots de l'IA, à l'exception de ceux de la plate-forme spécifiques. "Cloudflare a souligné que"En plus d'appliquer ces nouveaux filtres, nous recommandons aux clients d'envisager de mettre à jour leurs conditions d'utilisation pour couvrir ce nouveau cas d'utilisation."
Il convient de mentionner que CloudFlare a également annoncé qu'il lancera un marché l'année prochaine, permettant aux sociétés d'IA de payer les droits de grattage sur le contenu du site Web. Selon CloudFlare, les opérateurs de sites Web peuvent mettre leurs sites Web sur ce marché, et si un développeur d'IA est prêt à payer son contenu, il peut fournir à cette dernière une interface pour gratter le contenu du site Web pour la formation de grands modèles d'IA.
