In questo articolo Indice dei contenuti 3 sezioni
Bloccare tutti i crawler AI con un’unica istruzione potrebbe presto diventare una possibilità concreta per editori e gestori di siti web. Kevin Kelley, responsabile tecnico per gli standard di Anthropic, ha presentato alla IETF (Internet Engineering Task Force) la proposta di un nuovo standard pensato proprio per questo scopo. L’idea elimina una seccatura che oggi pesa su chiunque pubblichi contenuti online, cioè la necessità di scrivere regole separate per ciascun provider. Attorno al progetto si è già formato un fronte piuttosto ampio, visto che a sostenerlo ci sono anche OpenAI, Google, Microsoft e Meta.
Come funziona oggi il blocco dei crawler
Per capire la portata della proposta bisogna partire da come stanno le cose adesso. Chi vuole impedire ai bot delle intelligenze artificiali di accedere alle proprie pagine deve intervenire sul file robots.txt, quello basato sul Robots Exclusion Protocol, aggiungendo una riga per ogni singolo provider. Un lavoro che a prima vista sembra banale ma che nella pratica si rivela piuttosto noioso. I gestori dei siti devono infatti scovare i nomi dei vari crawler, tenere d’occhio eventuali cambi di denominazione da parte delle aziende e, se serve, aggiornare di nuovo il file di testo.
A complicare il quadro c’è un altro dettaglio. Nel caso di Google Search e Bing esistono crawler distinti per l’indicizzazione tradizionale e per l’addestramento dei modelli AI. Questo significa che bloccarne uno non vuol dire automaticamente bloccare l’altro, e chi gestisce un sito deve sapere bene quale strumento fa cosa per evitare di sparire dai risultati di ricerca senza volerlo.
Una sola regola per fermare l’addestramento
La soluzione immaginata da Kelley va nella direzione opposta e punta tutto su un approccio unificato, capace di fermare lo scraping non autorizzato da parte di tutti i crawler in un colpo solo. Agli editori che non vogliono vedere i propri contenuti usati per l’addestramento dei modelli basterà inserire nel robots.txt un user agent dedicato proprio all’uso per il training AI, seguito dal classico comando Disallow con la barra che indica l’intero sito. Due righe in tutto, valide per qualsiasi provider aderisca allo standard.
Le vecchie istruzioni comunque non vanno in pensione e continueranno a funzionare. Un editore potrebbe per esempio scegliere di bloccare tutti i crawler tranne quello di Google dedicato all’AI oppure GPTBot di OpenAI, mantenendo così un controllo selettivo. L’azienda di Mountain View sottolinea che lo standard rispetta il codice di condotta per i modelli general purpose previsto dall’AI Act europeo. Va detto però che il rispetto della regola non è obbligatorio, e alcuni provider già oggi accedono ai contenuti ignorando le indicazioni dei siti.
I tempi di adozione delle varie aziende
Sul fronte dell’implementazione ogni azienda si muove con il proprio passo. Anthropic ha già adottato la nuova istruzione, mentre per Google e Microsoft il supporto è previsto all’inizio del 2027. OpenAI ha fatto sapere che integrerà lo standard nei prossimi mesi, senza però indicare una data precisa. Per Meta invece non è stata fissata alcuna scadenza.
Microsoft ha poi annunciato l’arrivo di controlli più granulari. A partire dal 1 marzo 2027 sarà possibile indicare preferenze diverse per l’addestramento e per il grounding, ovvero la capacità di un modello AI di fare riferimento a una fonte di informazione affidabile per ridurre le cosiddette allucinazioni.
Fonte: TecnoAndroid