CloudFlare, ein Webdienstanbieter, hat eine Reihe neuer KI -Crawler -Tools wie AI -Audit und Block AI Scrapers und Crawler gestartet. Diese Tools sind so konzipiert, dass Website -Eigentümer, Ersteller und Publisher es einfach macht, zu entscheiden, ob KI -Crawler auf ihre Inhalte zugreifen können. In dieser Hinsicht sagte CloudFlare: „Wenn AI -Crawler -Crawler -Inhalte auf den Website -Inhalten zugreifen, können alle CloudFlare -Benutzer diese überprüfen und steuern.“

Das AI -Audit kann die Typen und spezifischen Aktivitäten von AI -Crawler überwachen. Insbesondere führt das AI -Audit die von Website -Besuchen gesammelten Protokolle und sucht nach Benutzeragenten, die zu bekannten AI -Crawlern entsprechen, sowie die Aktivität jedes Crawlers zu aggregieren. Es werden auch Filter bereitgestellt, damit Webmaster die Aktivität von AI -Crawler aus einer bestimmten Quelle erkennen können. Mit KI -Audit können Webmaster verschiedene Verhaltensweisen von KI -Crawlern anzeigen, einschließlich der Häufigkeit von Besuchen und den spezifischen Inhalten. Darüber hinaus können Webmaster auch den „beliebtesten Inhalt“ der Website über AI -Audit anzeigen, um die Anzahl der relevanten Inhalte in einem bestimmten Zeitraum zu erfassen.

Der Blog -Beitrag von Cloudflareangegeben, "Wir denken, Sie sollten wissen, warum, wann und wie oft KI -Crawler Ihre Website kriechen. Mit diesen Daten können Sie analysieren, wie KI -Crawler auf Ihre Website zugreifen.”ZusätzlichCloudflare wies darauf hin, dass “Viele AI -Unternehmen verwenden mehrere Crawlers, um verschiedene Aufgaben zu erledigen. Diese Unterschiede sind wichtig. Scans aus verschiedenen Arten von Crawlern können den Verkehr oder die Inhaltszuordnung Ihrer Website beeinflussen.“

Auf der anderen Seite,Blockieren Sie AI -Scrapers und CrawlersMit Tools können Website -Manager alle KI -Crawler mit einem Klick blockieren. In Bezug auf dieses Tool sagte Cloudflare: “Diese One-Click-Option blockiert bekannte KI-Crawler den Zugriff auf Ihre Website basierend auf einer von CloudFlare verwalteten Liste.”Wenn das Blockieren vorhanden ist, können Sie und Ihr Team komfortabler Entscheidungen darüber treffen, was Sie als nächstes mit Ihren Inhalten tun sollen. “

Es wird berichtet, dass der Website -Administrator beschließt, “Nicht kriechen zulassen, “Es muss nur Block -AI -Schaber und Kriecher angeschossen werden. Wenn Sie einigen KI -Crawlern zulassen möchten, selektiv zu kriechen, unterstützt CloudFlare auch die Website -Administratoren dabei.Administratoren können auch Regeln erstellenwie“Blockieren Sie alle KI -Crawler, außer denen aus einer bestimmten PlattformS."Cloudflare betonte das“Zusätzlich zur Anwendung dieser neuen Filter empfehlen die Kunden, ihre Nutzungsbedingungen zu aktualisieren, um diesen neuen Anwendungsfall abzudecken.“

Es ist erwähnenswert, dass CloudFlare außerdem angekündigt hat, nächstes Jahr einen Marktplatz zu starten, sodass KI -Unternehmen für das Abkratzen von Rechten für Website -Inhalte bezahlen können. Laut CloudFlare können Website -Betreiber ihre Websites in diesem Markt einfügen. Wenn ein KI -Entwickler bereit ist, seinen Inhalt zu bezahlen, können sie letztere eine Schnittstelle zum Abkratzen der Website für die Schulung großer KI -Modelle zur Verfügung stellen.