In questo articolo Indice dei contenuti 2 sezioni
Le aziende più influenti dell’intelligenza artificiale hanno deciso di muoversi nella stessa direzione sul fronte dello scraping. OpenAI, Google, Microsoft e Anthropic hanno annunciato che adotteranno un nuovo standard pensato per gli editori che non vogliono vedere i propri contenuti raccolti dai sistemi di IA. Il vantaggio è piuttosto concreto. Invece di comunicare le proprie preferenze a ogni singola azienda, chi gestisce un sito potrà indicarle una volta sola e farle valere per più operatori contemporaneamente.
L’idea porta la firma di Kevin Kelley, responsabile tecnico per gli standard in Anthropic, che l’ha proposta all’interno dell’Internet Engineering Task Force, la IETF. Si tratta di un segnale condiviso chiamato policy token che troverà posto nel file robots.txt, lo strumento che da tempo indica ai crawler quali pagine possono essere visitate e quali no. Che si parli di indicizzazione per i motori di ricerca, di archiviazione o di addestramento dei modelli, è sempre lì che passano le istruzioni. Oggi però le scelte legate all’IA vanno segnalate separatamente a ciascuna società, un lavoro tutt’altro che comodo per chi pubblica contenuti online.
Scraping IA: perché gli editori avevano bisogno di uno strumento unico
L’annuncio arriva in un momento in cui i crawler IA continuano a moltiplicarsi, setacciano i siti e riversano testi e materiali nei modelli di intelligenza artificiale. Per molti editori è diventato un flusso difficile da gestire. Non è la prima volta che qualcuno prova a mettere un argine alla raccolta non autorizzata dei contenuti. Lo standard Really Simple Licensing, conosciuto come RSL, consente per esempio di far pagare i crawler che visitano le pagine di un sito. Cloudflare ha scelto una strada ancora più netta e blocca i bot dell’IA in modo predefinito.
Con il nuovo token il meccanismo diventa piuttosto lineare. OpenAI, Google, Microsoft e Anthropic hanno spiegato che i loro crawler smetteranno di accedere a un sito nel momento in cui incontreranno questo segnale. Anche Meta si è detta favorevole attraverso il responsabile della comunicazione Andy Stone, che però non ha chiarito se l’azienda lo rispetterà davvero. “Crediamo che creare un segnale comune che trasmetta queste preferenze a più fornitori contemporaneamente sia un passo importante” ha dichiarato Stone, aggiungendo che Meta guarda con interesse alla collaborazione con le altre aziende del settore sugli standard e sulla loro applicazione su larga scala.
Controlli più precisi e tempi di adozione diversi
Microsoft promette strumenti più granulari. Gli editori potranno scegliere di escludersi dall’addestramento IA oppure dal cosiddetto grounding, il processo con cui un modello viene collegato a una fonte di informazioni verificata per ridurre le allucinazioni. La società precisa inoltre che i siti continueranno a comparire nei risultati di Bing a prescindere dalle preferenze espresse. Google aveva già introdotto controlli simili, permettendo ai siti di decidere se i propri contenuti debbano apparire nelle funzioni di ricerca basate sull’intelligenza artificiale o essere usati per allenare i modelli, senza alcuna conseguenza sulla visibilità nel motore di ricerca tradizionale.
Sui tempi le strade delle quattro aziende si separano. Anthropic, che ha proposto lo standard, ha già adottato il segnale. Google e Microsoft prevedono di supportarlo il prossimo anno, mentre OpenAI parla di un’implementazione in arrivo nei “prossimi mesi”.
Fonte: TecnoAndroid