Το Cloudflare, ένας πάροχος υπηρεσιών ιστού, ξεκίνησε μια σειρά από νέα εργαλεία AI Crawlers, όπως AI Audit and Block AI scrawers και crawlers. Αυτά τα εργαλεία έχουν σχεδιαστεί για να διευκολύνουν τους ιδιοκτήτες, τους δημιουργούς και τους εκδότες του ιστότοπου να αποφασίσουν εάν θα επιτρέψουν στην AI Crawlers να έχουν πρόσβαση στο περιεχόμενό τους. Από αυτή την άποψη, ο Cloudflare είπε: "Όταν η AI Crawlers έχει πρόσβαση στο περιεχόμενο του ιστότοπου, όλοι οι χρήστες CloudFlare μπορούν να το αναθεωρήσουν και να το ελέγξουν".
Ο έλεγχος AI μπορεί να παρακολουθεί τους τύπους και τις συγκεκριμένες δραστηριότητες των ανιχνευτών AI. Συγκεκριμένα, ο έλεγχος AI λαμβάνει τα αρχεία καταγραφής που συλλέγονται από τις επισκέψεις ιστότοπων και αναζητά πράκτορες χρηστών που ταιριάζουν με τους γνωστούς AI Crawlers, καθώς και συγκεντρώνει τη δραστηριότητα κάθε ανιχνευτή. Θα παρέχει επίσης φίλτρα έτσι ώστε οι webmasters να μπορούν να δουν τη δραστηριότητα των ανιχνευτών AI από μια συγκεκριμένη πηγή. Με τον έλεγχο του AI, οι webmasters μπορούν να δουν διάφορες συμπεριφορές των ανιχνευτών AI, συμπεριλαμβανομένης της συχνότητας των επισκέψεων και του συγκεκριμένου περιεχομένου που έχει προσβληθεί. Επιπλέον, οι Webmasters μπορούν επίσης να δουν το "πιο δημοφιλές περιεχόμενο" της ιστοσελίδας μέσω του AI Adit για να κατανοήσουν τον αριθμό των φορές που το σχετικό περιεχόμενο έχει ανιχνευθεί σε μια συγκεκριμένη περίοδο.
Η ανάρτηση ιστολογίου του Cloudflareδήλωσε: "Πιστεύουμε ότι πρέπει να γνωρίζετε γιατί, πότε και πόσο συχνά οι ανιχνεύσεις AI ανιχνεύουν τον ιστότοπό σας. Χρησιμοποιώντας αυτά τα δεδομένα, μπορείτε να ξεκινήσετε να αναλύετε τον τρόπο πρόσβασης στο AI Crawlers στον ιστότοπό σας."Εξάλλου, Cloudflare επεσήμανε ότι "Πολλές εταιρείες AI χρησιμοποιούν πολλαπλούς ανιχνευτές για να ολοκληρώσουν διαφορετικά καθήκοντα. Αυτές οι διαφορές είναι σημαντικές. Οι σαρώσεις από διαφορετικούς τύπους ανιχνευτών μπορούν να επηρεάσουν την επισκεψιμότητα του ιστότοπού σας ή την απόδοση περιεχομένου.«
Από την άλλη πλευρά,Αποκλείστε τις ξύστρες και τους ανιχνευτές AIΤα εργαλεία επιτρέπουν στους διαχειριστές ιστότοπων να εμποδίζουν όλους τους ανιχνευτές AI με ένα κλικ. Όσον αφορά αυτό το εργαλείο, ο Cloudflare είπε: "Αυτή η επιλογή με ένα κλικ θα εμποδίσει τους γνωστούς Crawlers AI από την πρόσβαση στον ιστότοπό σας με βάση μια λίστα που διατηρείται από το CloudFlare."Όταν μπλοκάρει, εσείς και η ομάδα σας μπορείτε να κάνετε πιο άνετες αποφάσεις σχετικά με το τι πρέπει να κάνετε με το περιεχόμενό σας στη συνέχεια. "
Αναφέρεται ότι εάν ο διαχειριστής του ιστότοπου αποφασίσει να "να μην αφήσετε καμία ανίχνευση, "Πρέπει μόνο να κρατήσει τα μπλοκ AI scrapers και crawlers επάνω. Εάν θέλετε να επιτρέψετε σε ορισμένους ανιχνευτές AI να ανιχνεύσουν επιλεκτικά, το CloudFlare υποστηρίζει επίσης τους διαχειριστές ιστότοπων.Οι διαχειριστές μπορούν επίσης να δημιουργήσουν κανόνεςσαν«Αποκλείστε όλους τους ανιχνευτές AI, εκτός από εκείνες από συγκεκριμένη πλατφόρμαμικρό."Ο Cloudflare το τόνισε«Εκτός από την εφαρμογή αυτών των νέων φίλτρων, συνιστούμε στους πελάτες να εξετάσουν την ενημέρωση των όρων παροχής υπηρεσιών για να καλύψουν αυτή τη νέα περίπτωση χρήσης.«
Αξίζει να σημειωθεί ότι η CloudFlare ανακοίνωσε επίσης ότι θα ξεκινήσει μια αγορά το επόμενο έτος, επιτρέποντας στις εταιρείες AI να πληρώσουν για τα δικαιώματα απόξεσης στο περιεχόμενο του ιστότοπου. Σύμφωνα με το CloudFlare, οι φορείς εκμετάλλευσης ιστότοπων μπορούν να βάλουν τις ιστοσελίδες τους σε αυτήν την αγορά και εάν ένας προγραμματιστής AI είναι πρόθυμος να πληρώσει για το περιεχόμενό του, μπορούν να παρέχουν στον τελευταίο μια διεπαφή για την απόξεση του περιεχομένου του ιστότοπου για την κατάρτιση μεγάλων μοντέλων AI.
