In questo articolo Indice dei contenuti 3 sezioni
Le regole dello scraping AI stanno per cambiare, e questa volta a spingere nella stessa direzione sono alcuni dei nomi più pesanti del settore. La raccolta automatica di contenuti dal web da parte dei sistemi di Intelligenza Artificiale è ormai un tema centrale per editori e gestori di siti. Molte piattaforme pubblicano materiali che possono finire nell’addestramento dei modelli linguistici, senza avere a disposizione un modo semplice e uniforme per decidere chi può accedere e come.
L’idea sul tavolo è quella di un sistema condiviso, capace di far arrivare le preferenze dei proprietari dei siti direttamente ai crawler. Meno impostazioni sparse qua e là, condizioni d’uso più leggibili e un tentativo concreto di rimettere in equilibrio due esigenze che spesso si scontrano, cioè l’innovazione tecnologica da una parte e i diritti di chi pubblica dall’altra.
Un unico segnale per dire no alla raccolta dei contenuti
OpenAI, Google, Microsoft e Anthropic hanno dichiarato il proprio sostegno a un nuovo standard pensato per permettere agli editori di rifiutare l’uso dei loro contenuti nell’addestramento dei modelli AI. Si chiama policy token ed è stato presentato da Kevin Kelley, responsabile tecnico degli standard di Anthropic, all’interno dell’Internet Engineering Task Force, meglio nota come IETF.
Il meccanismo andrebbe a inserirsi nel file robots.txt, quello che già oggi serve a comunicare ai bot le regole di accesso alle risorse di un sito. La vera novità però sta altrove. Non servirà più preparare istruzioni diverse per ciascuna azienda tecnologica perché basterà esprimere una preferenza comune. Stando a quanto dichiarato dalle società coinvolte, i rispettivi sistemi di raccolta limiteranno l’accesso non appena individueranno il segnale previsto.
Anche Meta si è mostrata interessata, tramite il suo responsabile delle comunicazioni Andy Stone, ma senza confermare in modo formale l’adesione al sistema. Per le redazioni più piccole, quelle che non possono contare su grandi risorse tecniche, un’impostazione del genere potrebbe semplificare parecchio la gestione delle autorizzazioni.
Addestramento e ricerca non sono la stessa cosa
C’è poi una distinzione che pesa molto, quella tra l’uso dei contenuti per allenare i modelli e la loro presenza nei servizi di ricerca. Si tratta di due attività separate e bloccare la prima non significa automaticamente sparire dai risultati dei motori di ricerca.
Microsoft ha annunciato controlli più dettagliati, grazie ai quali gli editori potranno escludere i propri materiali sia dall’addestramento sia dal cosiddetto AI grounding, il processo che consente a un modello di consultare fonti verificabili per costruire risposte più affidabili. L’azienda ha chiarito che queste preferenze non impediranno comunque alle pagine di comparire su Bing. Google, dal canto suo, offre già impostazioni che permettono di gestire in modo separato l’impiego dei contenuti nelle funzioni di ricerca basate sull’Intelligenza Artificiale e quello destinato all’addestramento.
Sui tempi di adozione del policy token le posizioni non coincidono. Anthropic ha già messo in pratica il nuovo segnale, mentre Google e Microsoft contano di introdurlo nel corso del prossimo anno. OpenAI ha invece indicato i mesi successivi come finestra temporale per il proprio supporto.
Le altre strade per tutelare l’editoria digitale
La proposta arriva dentro un confronto più ampio, che riguarda la sostenibilità stessa dell’editoria digitale e il rapporto con chi raccoglie dati in modo automatizzato. Il nuovo standard non è infatti l’unico tentativo in campo per dare agli editori un margine di controllo sul proprio lavoro, e le soluzioni allo studio seguono approcci piuttosto diversi tra loro.
Iniziative come Really Simple Licensing puntano a introdurre forme di remunerazione per l’accesso automatizzato ai contenuti, così da trasformare la raccolta in qualcosa di regolato anche dal punto di vista economico. Cloudflare, invece, ha scelto una via più drastica e ha sperimentato il blocco predefinito dei crawler AI.
Fonte: TecnoAndroid