Verkkopalveluntarjoaja Cloudflare on julkaissut joukon uusia tekoälyindeksointityökaluja, kuten AI Audit ja Block AI Scrapers and Crawlers. Nämä työkalut on suunniteltu helpottamaan verkkosivustojen omistajien, luojien ja julkaisijoiden mahdollisuuksia päättää, sallitaanko tekoälyindeksointirobottien käyttää sisältöään. Tältä osin Cloudflare sanoi: "Kun tekoälyindeksointirobotit käyttävät verkkosivuston sisältöä, kaikki Cloudflaren käyttäjät voivat tarkastella ja hallita sitä."

AI Audit voi seurata tekoälyindeksointirobottien tyyppejä ja tiettyjä toimintoja. Tarkemmin sanottuna AI Audit kerää verkkosivustovierailuista kerätyt lokit ja etsii käyttäjäagentteja, jotka vastaavat tunnettuja tekoälyindeksointirobotteja, sekä kokoaa kunkin indeksointirobotin toiminnan. Se tarjoaa myös suodattimia, jotta verkkovastaavat voivat nähdä tietystä lähteestä peräisin olevien tekoälyindeksointirobottien toiminnan. AI Auditin avulla verkkovastaavat voivat tarkastella tekoälyindeksointirobottien erilaisia ​​käyttäytymismalleja, kuten käyntien tiheyttä ja tarkasteltua sisältöä. Lisäksi verkkovastaavat voivat tarkastella verkkosivuston "suosituinta sisältöä" AI Auditin avulla saadakseen selville, kuinka monta kertaa relevanttia sisältöä on indeksoitu tietyn ajanjakson aikana.

Cloudflaren blogikirjoitustotesi, "Mielestämme sinun pitäisi tietää, miksi, milloin ja kuinka usein AI-indeksoijat indeksoivat verkkosivustosi. Näiden tietojen avulla voit alkaa analysoida, kuinka tekoälyindeksointirobotit pääsevät verkkosivustollesi.”Lisäksi, Cloudflare huomautti, että "monet tekoälyyritykset käyttävät useita indeksointirobotteja eri tehtävien suorittamiseen. Nämä erot ovat tärkeitä. Erityyppisten indeksointirobottien tekemät tarkistukset voivat vaikuttaa sivustosi liikenteeseen tai sisällön vaikuttamiseen."

ToisaaltaEstä AI-kaapijat ja indeksointikoneettyökalujen avulla verkkosivustojen ylläpitäjät voivat estää kaikki tekoälyindeksoijat yhdellä napsautuksella. Tästä työkalusta Cloudflare sanoi: "Tämä yhden napsautuksen vaihtoehto estää tunnettuja tekoälyindeksoijia pääsemästä verkkosivustollesi Cloudflaren ylläpitämän luettelon perusteella.”Kun esto on käytössä, sinä ja tiimisi voitte tehdä mukavampia päätöksiä siitä, mitä tehdä sisällölläsi seuraavaksi."

On raportoitu, että jos verkkosivuston ylläpitäjä päättää "ei salli ryömimistä”, sen tarvitsee vain pitää Block AI Scrapers and Crawlers päällä. Jos haluat sallia joidenkin tekoälyindeksointirobottien indeksoinnin valikoivasti, Cloudflare tukee myös verkkosivustojen ylläpitäjiä.Järjestelmänvalvojat voivat myös luoda sääntöjäpitää"Estä kaikki AI-indeksoijat, paitsi tietyltä alustalta tulevats.”Cloudflare korosti sitä"Näiden uusien suodattimien käyttöönoton lisäksi suosittelemme, että asiakkaat harkitsevat käyttöehtojensa päivittämistä kattamaan tämän uuden käyttötapauksen."

On syytä mainita, että Cloudflare ilmoitti myös avaavansa markkinapaikan ensi vuonna, jolloin tekoälyyritykset voivat maksaa verkkosivustojen sisällön kaappausoikeuksista. Cloudflaren mukaan verkkosivustojen operaattorit voivat tuoda verkkosivustonsa näille markkinoille, ja jos tekoälykehittäjä on valmis maksamaan sen sisällöstä, he voivat tarjota jälkimmäiselle käyttöliittymän verkkosivuston sisällön kaapimiseen suurten tekoälymallien koulutusta varten.