In questo articolo Indice dei contenuti 4 sezioni
Per un sito web, impedire che i propri contenuti vengano utilizzati per addestrare l’intelligenza artificiale non dovrebbe significare rinunciare anche alla visibilità sui motori di ricerca. È proprio su questo punto che Cloudflare interviene con un nuovo sistema di controlli dedicati al crawling basato sull’AI.
L’azienda ha annunciato una nuova designazione chiamata Accountable e, contemporaneamente, ha introdotto Disallow AI Training. L’impostazione permette ai proprietari dei siti di vietare l’utilizzo dei contenuti per l’addestramento dell’AI, mantenendo però la possibilità di comparire nei risultati di ricerca. La modifica arriva in un momento in cui i crawler a uso misto hanno assunto un peso rilevante. Secondo i dati raccolti da Cloudflare, rappresentano il 36,6% del traffico verificato dei crawler sulla sua rete, diventando la categoria più numerosa.
Ricerca e addestramento diventano controlli separati
Il problema nasce dal modo in cui i crawler a uso misto operano: raccolgono contenuti sia per costruire indici di ricerca sia per attività legate all’addestramento dell’intelligenza artificiale. In passato, impedire il secondo utilizzo poteva comportare anche la perdita della possibilità di essere indicizzati dai sistemi privi di controlli separati.
I comportamenti dei proprietari dei siti mostrano però esigenze differenti. Meno dell’1% blocca i crawler dei motori di ricerca, mentre il 17% limita il crawling destinato all’addestramento dell’AI. Cloudflare punta quindi a distinguere queste attività, permettendo di scegliere autonomamente quali utilizzi autorizzare. La nuova impostazione sostituisce l’interruttore unico “Block AI Bots” con tre controlli indipendenti: uno dedicato alla ricerca, uno all’addestramento dell’AI e uno agli agenti AI. Le preferenze possono essere modificate in qualsiasi momento.
Le impostazioni cambiano in base al modello del sito
Cloudflare ha previsto anche configurazioni consigliate per i nuovi siti che utilizzano il suo servizio. La distinzione principale riguarda la presenza o meno di pubblicità. Per i siti che ospitano annunci, il crawling per la ricerca rimane attivo, mentre l’addestramento dell’AI viene disabilitato e gli agenti AI vengono bloccati sulle pagine che contengono pubblicità. Per tutti gli altri siti, invece, le impostazioni consigliate consentono ricerca, addestramento AI e agenti AI, seguendo il modello adottato dalla maggior parte dei siti web non supportati dalla pubblicità.
A cambiare è anche il sistema con cui queste preferenze vengono applicate. La funzione “Managed Robots.txt” viene sostituita da Bot Preference Sync, che permette di configurare una sola volta le proprie scelte relative al crawling e di applicarle automaticamente ai crawler supportati.
Apple, Google e Microsoft sono già Accountable
Cloudflare ha definito quattro condizioni per classificare un operatore come Accountable nel crawling basato sull’AI. I crawler devono offrire un sistema chiaro per rinunciare all’addestramento attraverso robots.txt o uno standard equivalente, permettere di escludere i riepiloghi di ricerca generati dall’AI e fornire visibilità a livello di URL sull’utilizzo dei contenuti.
È inoltre necessario che l’operatore confermi pubblicamente che il rifiuto dell’addestramento non avrà conseguenze sul posizionamento del sito nei risultati di ricerca tradizionali. Apple, Google e Microsoft sono state indicate da Cloudflare come aziende che hanno soddisfatto questi criteri oppure hanno fornito tempistiche specifiche per adeguarsi. Google, ad esempio, mette a disposizione Google-Extended per consentire ai siti di rinunciare all’addestramento senza rinunciare alla ricerca.
Cloudflare distingue inoltre le aziende che utilizzano crawler separati per ricerca e addestramento. In questi casi può bloccare i crawler destinati all’AI senza interferire con quelli utilizzati per la ricerca.
Il prossimo obiettivo riguarda i riepiloghi AI
Secondo Cloudflare, la gestione dell’addestramento rappresenta soltanto una parte della questione. Il prossimo passaggio riguarda i riepiloghi generati dall’AI all’interno della ricerca. L’idea è di fare in modo che ogni operatore classificato come Accountable offra ai proprietari dei siti la possibilità di rinunciare anche a questo utilizzo dei contenuti. Attualmente la scelta deve essere configurata separatamente con ciascun operatore.
Cloudflare punta entro l’inizio del prossimo anno a permettere ai proprietari dei siti di gestire da un unico punto la quantità dei propri contenuti che può essere inclusa nei riepiloghi generati dall’AI. Parallelamente, l’azienda partecipa ai lavori dell’Internet Engineering Task Force sullo standard aperto “ai-prefs”, ancora in fase di sviluppo, pensato per consentire ai siti web di esprimere in modo standardizzato e portabile le proprie preferenze sull’accesso all’AI.
Fonte: TecnoAndroid
