Cloudflare, ein Webdienstanbieter, hat eine Reihe neuer KI-Crawler-Tools wie AI Audit und Block AI Scrapers and Crawlers auf den Markt gebracht. Diese Tools sollen es Websitebesitzern, Erstellern und Herausgebern erleichtern, zu entscheiden, ob sie KI-Crawlern den Zugriff auf ihre Inhalte erlauben möchten. In diesem Zusammenhang sagte Cloudflare: „Wenn KI-Crawler auf Website-Inhalte zugreifen, können alle Cloudflare-Benutzer diese überprüfen und kontrollieren.“

AI Audit kann die Typen und spezifischen Aktivitäten von KI-Crawlern überwachen. Insbesondere verwendet AI Audit die von Website-Besuchen gesammelten Protokolle und sucht nach Benutzeragenten, die mit bekannten KI-Crawlern übereinstimmen, und aggregiert die Aktivität jedes Crawlers. Außerdem werden Filter bereitgestellt, sodass Webmaster die Aktivität von KI-Crawlern aus einer bestimmten Quelle sehen können. Mit AI Audit können Webmaster verschiedene Verhaltensweisen von AI-Crawlern anzeigen, einschließlich der Häufigkeit der Besuche und der spezifischen Inhalte, auf die zugegriffen wird. Darüber hinaus können Webmaster über AI Audit auch die „beliebtesten Inhalte“ der Website anzeigen, um zu erfassen, wie oft der relevante Inhalt in einem bestimmten Zeitraum gecrawlt wurde.

Cloudflares Blogbeitragerklärte: „Wir sind der Meinung, dass Sie wissen sollten, warum, wann und wie oft KI-Crawler Ihre Website crawlen. Anhand dieser Daten können Sie mit der Analyse beginnen, wie KI-Crawler auf Ihre Website zugreifen.”ZusätzlichCloudflare wies darauf hin, dass „Viele KI-Unternehmen verwenden mehrere Crawler, um verschiedene Aufgaben zu erfüllen. Diese Unterschiede sind wichtig. Scans von verschiedenen Crawler-Typen können sich auf den Traffic oder die Inhaltszuordnung Ihrer Website auswirken.„

Auf der anderen Seite,Blockieren Sie KI-Scraper und CrawlerMithilfe dieser Tools können Website-Manager alle KI-Crawler mit einem Klick blockieren. Zu diesem Tool sagte Cloudflare: „Diese Ein-Klick-Option blockiert den Zugriff bekannter KI-Crawler auf Ihre Website basierend auf einer von Cloudflare verwalteten Liste.”Wenn die Blockierung aktiviert ist, können Sie und Ihr Team einfachere Entscheidungen darüber treffen, was als nächstes mit Ihren Inhalten geschehen soll.“

Es wird berichtet, dass, wenn der Website-Administrator beschließt, „kein Krabbeln zulassen„Es muss nur Block-KI-Scraper und Crawler eingeschaltet bleiben. Wenn Sie einigen KI-Crawlern das selektive Crawlen ermöglichen möchten, unterstützt Cloudflare Website-Administratoren auch dabei.Administratoren können auch Regeln erstellenwie„Blockieren Sie alle KI-Crawler, außer denen einer bestimmten PlattformS."Cloudflare hat das betont„Zusätzlich zur Anwendung dieser neuen Filter empfehlen wir Kunden, über eine Aktualisierung ihrer Nutzungsbedingungen nachzudenken, um diesen neuen Anwendungsfall abzudecken.„

Erwähnenswert ist, dass Cloudflare außerdem angekündigt hat, nächstes Jahr einen Marktplatz zu starten, der es KI-Unternehmen ermöglicht, für Scraping-Rechte an Website-Inhalten zu zahlen. Laut Cloudflare können Website-Betreiber ihre Websites auf diesem Markt platzieren, und wenn ein KI-Entwickler bereit ist, für seine Inhalte zu zahlen, kann er diesem eine Schnittstelle zum Scrapen der Website-Inhalte für das Training großer KI-Modelle zur Verfügung stellen.