Quando OpenAI ha lanciato il suo chatbot ChatGPT, ha anche rivelato il suo web crawler chiamato GPTBot. Il loro crawler funziona allo stesso modo di un bot di Google e i proprietari di siti web possono impedire a questi crawler di accedere ai loro siti web in robots.txt. OpenAI ha anche concesso l'accesso per bloccare il proprio bot. Si dice che circa il 48% dei siti web abbia bloccato il proprio accesso, secondo uno studio di Originality.AI. Successivamente, Google ha anche annunciato un bot Google-Extended separato per consentire ai webmaster di bloccare i propri strumenti di intelligenza artificiale senza influire sul bot di ricerca.
Discussione in corso sui robot AI
Sin dal lancio di ChatGPT è in corso una discussione su come trarre vantaggio da questa capacità di bloccare l'accesso ai siti ad alcuni bot IA. Non esiste una risposta unica che possa soddisfare tutte le parti interessate a tutti i livelli, poiché la discussione su questo argomento è persistente tra gli operatori del settore SEO e quasi tutte le pubblicazioni online. Questo è un argomento secondario riguardo al fatto se il blocco di questi bot avrà qualche impatto pratico, poiché molti servizi stanno esplorando il Web senza autorizzazione.
Un punto che supporta questa scuola di pensiero è che il crawler di OpenAI è stato annunciato piuttosto tardi. L’azienda potrebbe aver utilizzato molti metodi diversi per reperire i dati, che definiscono ampiamente disponibili sul web. La preoccupazione è che le aziende possano utilizzare bot con nomi diversi e con fornitori diversi, quindi se ne blocchi uno nuovo, non potrai riprendere i dati che sono già stati digeriti da loro.
Ciò ha reso più semplice per i siti di scraper sfornare contenuti da questi stessi bot addestrati sui tuoi dati, quelli prodotti dall'uomo.
Vogliono i tuoi contenuti
Alcuni potrebbero credere che le aziende di intelligenza artificiale non vogliano i loro contenuti e che un giorno saranno in grado di produrre contenuti dello stesso calibro dei tuoi, quindi questo è un problema molto preoccupante per i siti incentrati sui contenuti. Ciò solleva anche interrogativi sull’efficacia e la rilevanza delle pratiche SEO che conosciamo. Un altro problema sarà che ci sarà un gran numero di siti che producono lo stesso contenuto. Quindi, considerando questi punti, alcune industrie potrebbero bloccare i robot IA su larga scala.
Gli esperti favorevoli all'accesso a bot come ChatGPT basano la loro argomentazione sul fatto che il servizio non viene utilizzato come motore di ricerca, ma come assistente, in particolare per la creazione di codici, la traduzione e anche la creazione di contenuti. Dicono anche che la quota di mercato di Bing è aumentata solo dell'1% da quando ha integrato ChatGPT. Al momento, Google afferma che il suo bot AI è separato, ma non sappiamo cosa accadrà in futuro poiché Google integrerà l'intelligenza artificiale nei risultati di ricerca in futuro.
Le persone a favore dicono anche che non si tratta solo di scrivere contenuti da parte dei chatbot , ma il punto è che se menzionano il nome del tuo marchio, secondo loro, la situazione dà anche visibilità al tuo marchio a un pubblico più ampio. Inoltre, se blocchi il loro accesso, impedisci che i tuoi pensieri vengano inclusi nella formazione dei futuri LLM. Tuttavia, esiste una forte possibilità che in futuro questi stessi modelli generino cloni di marchi e prodotti, il che alla fine amplificherà il problema del deepfake.
La minaccia che i modelli di intelligenza artificiale rappresentano per la SEO e Google non è quella di un concorrente diretto, ma di uno strumento che può essere utilizzato per creare contenuti su larga scala. Ciò è dannoso per la ricerca, poiché creerà problemi a Google e Bing e consumerà il traffico che altrimenti consumerebbe i contenuti umani già esistenti. Quindi, alla fine, la decisione se consentire o meno un bot dipende dalla preferenza di un individuo come blogger o di un editore come azienda dopo aver analizzato le proprie priorità.
Trovate la storia originale qui .