Verkkopalveluntarjoaja CloudFlare on julkaissut sarjan uusia AI -indeksoijatyökaluja, kuten AI -auditointia ja Block AI -kaapimia ja indeksoijia. Nämä työkalut on suunniteltu tekemään verkkosivustojen omistajien, luojien ja kustantajien helpottamisesta päättää, sallitaanko AI -indeksoijat käyttää sisältöään. Tältä osin CloudFlare sanoi: "Kun AI Crawlers Access -sivuston sisältö, kaikki CloudFlare -käyttäjät voivat tarkistaa ja hallita sitä."
AI -auditointi voi seurata AI -indeksoijien tyyppejä ja erityisiä toimintoja. Erityisesti AI -auditointi ottaa verkkosivustojen vierailuista kerätyt lokit ja etsii käyttäjäagentteja, jotka vastaavat tunnettuja AI -indeksoijia, sekä yhdistävät kunkin indeksoijan toiminnan. Se tarjoaa myös suodattimia, jotta verkkovastaavat näkevät AI -indeksoijien toiminnan tietystä lähteestä. AI -auditoinnin avulla verkkovastaavat voivat tarkastella AI -indeksoijien erilaisia käyttäytymismalleja, mukaan lukien vierailujen taajuus ja käytetty erityinen sisältö. Lisäksi verkkovastaavat voivat tarkastella verkkosivuston "suosituinta sisältöä" AI -auditoinnin avulla ymmärtääksesi kuinka monta kertaa asiaankuuluva sisältö on indeksoitu tietyssä ajanjaksossa.
CloudFlaren blogiviestitotesi, ”Mielestämme sinun pitäisi tietää miksi, milloin ja kuinka usein AI -indeksoijat indeksoivat verkkosivustosi. Näiden tietojen avulla voit aloittaa analysoinnin kuinka AI -indeksoijat käyttävät verkkosivustoasi."Lisäksi, CloudFlare huomautti, että ”Monet AI -yritykset käyttävät useita indeksoijia erilaisten tehtävien suorittamiseen. Nämä erot ovat tärkeitä. Eri indeksoijien skannaukset voivat vaikuttaa sivustosi liikenteeseen tai sisällön määritykseen."
Toisaalta,Block AI -kaapimet ja indeksoijatTyökalujen avulla verkkosivustopäälliköt voivat estää kaikki AI -indeksoijat yhdellä napsautuksella. Tämän työkalun suhteen CloudFlare sanoi: "Tämä yhden napsautusvaihtoehto estää tunnetut AI-indeksoijat pääsemästä verkkosivustollesi CloudFlare-palvelun ylläpitämän luettelon perusteella."Kun esto on paikallaan, sinä ja tiimisi voit tehdä mukavampaa päätöstä siitä, mitä tehdä seuraavaksi sisältöllesi. "
On todettu, että jos verkkosivustojen järjestelmänvalvoja päättää "ei salli mitään indeksointia, ”Sen on vain pidettävä lohkojen AI -kaavin ja indeksoijat. Jos haluat sallia joidenkin AI -indeksoijien indeksoida valikoivasti, CloudFlare tukee myös verkkosivustojen järjestelmänvalvojia tekemällä niin.Järjestelmänvalvojat voivat myös luoda sääntöjäpitää"Estää kaikki AI -indeksoijat, paitsi tietyn alustans. "CloudFlare korosti sitä"Näiden uusien suodattimien soveltamisen lisäksi suosittelemme, että asiakkaat harkitsevat palvelusehtojensa päivittämistä tämän uuden käyttötapauksen kattamiseksi."
On syytä mainita, että CloudFlare ilmoitti myös markkinoille ensi vuonna markkinoille, jolloin AI -yritykset voivat maksaa raapimisoikeudet verkkosivuston sisältöön. CloudFlaren mukaan verkkosivustojen operaattorit voivat laittaa verkkosivustonsa näille markkinoille, ja jos AI -kehittäjä on halukas maksamaan sisällöstä, he voivat tarjota jälkimmäiselle käyttöliittymän verkkosivuston sisällön raapimiseksi suurten AI -mallien koulutukseen.
