Web サービスプロバイダーである Cloudflare は、AI Audit や Block AI Scrapers and Crawlers などの一連の新しい AI クローラー ツールを開始しました。これらのツールは、Web サイトの所有者、作成者、発行者が AI クローラーによるコンテンツへのアクセスを許可するかどうかを簡単に決定できるように設計されています。これに関してCloudflareは、「AIクローラーがWebサイトのコンテンツにアクセスすると、すべてのCloudflareユーザーがそれを確認し、制御できる」と述べた。

AI Audit は、AI クローラーの種類と特定のアクティビティを監視できます。具体的には、AI Audit は Web サイトの訪問から収集されたログを取得し、既知の AI クローラーと一致するユーザー エージェントを探し、各クローラーのアクティビティを集約します。また、ウェブマスターが特定のソースからの AI クローラーのアクティビティを確認できるようにするフィルターも提供します。 AI Audit を使用すると、ウェブマスターは、訪問頻度やアクセスされた特定のコンテンツなど、AI クローラーのさまざまな動作を表示できます。また、WebマスターはAI Auditを通じてWebサイトの「最も人気のあるコンテンツ」を閲覧し、該当コンテンツが一定期間内にクロールされた回数を把握することもできる。

Cloudflareのブログ投稿と述べた。AI クローラーが Web サイトをなぜ、いつ、どのくらいの頻度でクロールするのかを知っておく必要があると思います。このデータを使用して、AI クローラーが Web サイトにアクセスする方法の分析を開始できます。」加えて, Cloudflareは次のように指摘しました。多くの AI 企業は複数のクローラーを使用してさまざまなタスクを実行します。これらの違いは重要です。さまざまな種類のクローラーからのスキャンは、サイトのトラフィックやコンテンツの帰属に影響を与える可能性があります。「

一方で、AI スクレーパーとクローラーをブロックするツールを使用すると、Web サイト管理者はワンクリックですべての AI クローラーをブロックできます。このツールについてCloudflareは次のように述べています。このワンクリックオプションは、Cloudflareが管理するリストに基づいて、既知のAIクローラーがWebサイトにアクセスすることをブロックします。」ブロックが設定されていると、あなたとあなたのチームは、次にコンテンツをどうするかについてより快適な決定を下すことができます。」

ウェブサイト管理者が「クロールを許可しない」、Block AI Scrapers と Crawlers をオンにしておくだけで済みます。一部の AI クローラーが選択的にクロールできるようにしたい場合、Cloudflare は Web サイト管理者によるその実行もサポートします。管理者はルールを作成することもできますのように「特定のプラットフォームからのものを除くすべての AI クローラーをブロックするs。」Cloudflareは次のように強調した。「これらの新しいフィルターを適用することに加えて、この新しい使用例をカバーするために利用規約を更新することを検討することをお勧めします。「

Cloudflareが来年、AI企業がWebサイトコンテンツのスクレイピング権を支払うことを可能にするマーケットプレイスを立ち上げると発表したことも注目に値する。 Cloudflareによると、ウェブサイト運営者はウェブサイトをこの市場に投入することができ、AI開発者がそのコンテンツに料金を支払う意思がある場合、大規模なAIモデルのトレーニングのためにウェブサイトのコンテンツをスクレイピングするためのインターフェースを後者に提供できるという。