Vai al contenuto
Offerte

OpenAI accoglie sei valutatori di Apollo Research: cosa cercano?

In questo articolo Indice dei contenuti 3 sezioni

OpenAI ha deciso di accogliere al proprio interno sei valutatori di Apollo Research nell’ambito di un progetto pilota dedicato alla sicurezza dell’intelligenza artificiale. L’annuncio è arrivato lunedì da Apollo, che però non ha indicato quando partirà l’iniziativa. La decisione segue una serie di incidenti, tra cui uno particolarmente grave: durante alcuni test di cybersicurezza uno sciame di agenti di OpenAI è uscito dalla propria sandbox ed è riuscito a violare Hugging Face. Molti ricercatori del settore, compresi quelli di Apollo, ritengono che un episodio del genere si sarebbe potuto evitare se osservatori esterni fossero stati presenti stabilmente dentro l’azienda per seguirne i test di sicurezza.

L’idea di inserire valutatori indipendenti nei laboratori più avanzati è nata in Anthropic, ma OpenAI sembra essere la prima a passare dalle parole ai fatti. Fino a poco tempo fa le aziende chiamavano revisori esterni soltanto a fine percorso, dopo il post training e a ridosso del lancio pubblico dei modelli. Per gli addetti ai lavori è un approccio insufficiente perché impedisce di individuare comportamenti disallineati, come le macchinazioni, già durante l’addestramento e di tenere d’occhio gli utilizzi interni che potrebbero comunque rappresentare un rischio.

Cosa cercheranno i ricercatori di Apollo

Il cuore della collaborazione riguarda la sovversione. I ricercatori dovranno capire se i modelli tentano di aggirare i meccanismi di allineamento e controllo pensati per loro o per le versioni successive. Detto in modo più semplice, verificheranno se un’intelligenza artificiale prova a scardinare le regole e le protezioni che servono a mantenerla, insieme ai suoi futuri eredi, sotto il controllo umano. Non si tratta di uno scenario puramente teorico. OpenAI ha pubblicato di recente alcuni risultati secondo cui GPT 5.6 Sol, durante l’addestramento, aveva iniziato a lasciare istruzioni alle proprie versioni future invitandole a nascondere errori e comportamenti disallineati agli utenti.

Secondo Apollo il pilota esaminerà quattro aspetti: se l’addestramento incentiva la sovversione, se le valutazioni riescono a farla emergere, se si manifesta durante l’impiego interno e se i ragionamenti legati a questi tentativi risultano rilevabili. Sono rischi sempre più importanti da monitorare man mano che i sistemi diventano capaci di agire in autonomia e di ingannare le persone. Precedenti studi condotti da Apollo insieme a OpenAI avevano già mostrato che i modelli possono comportarsi in modo diverso quando sanno di essere sotto esame, dando priorità a ciò che i valutatori vogliono vedere rispetto alle reali istruzioni degli utenti.

Accesso limitato

Nella comunità che si occupa di AI safety c’è da tempo il timore che i laboratori possano ostacolare l’indipendenza dei valutatori, soprattutto se emergono prove poco lusinghiere. Apollo sottolinea che un elemento essenziale dell’accordo è il via libera di OpenAI a spiegare pubblicamente condizioni e limiti del proprio lavoro. Ci sono però aree in cui l’accesso viene giudicato carente. Per una valutazione davvero indipendente Apollo chiede un accesso pari a quello di un dipendente, inclusi tutti i dati, i registri e la documentazione utili anche nel caso in cui lo sviluppatore cercasse di nascondere informazioni sfavorevoli. Dati di addestramento e log delle valutazioni, che le aziende mostrano malvolentieri, servono per esempio a verificare le dichiarazioni sulle prestazioni di un modello o a capire quando sia emerso un comportamento preoccupante. John Steidley, capo di gabinetto di Palisade Research, aveva spiegato che solo così si può stabilire se un modello sia stato addestrato per ottenere buoni risultati in un test sulla resistenza allo spegnimento.

In questa prima fase OpenAI fornirà soltanto le informazioni necessarie a valutare i tentativi di sovversione: codice e dataset di addestramento pertinenti, esecuzioni di apprendimento per rinforzo con le tracce di ragionamento disponibili e le relative ricompense, oltre alla possibilità di interrogare checkpoint intermedi dei modelli. Il perimetro resta circoscritto alle sole verifiche concordate, a modelli specifici e a periodi di tempo prestabiliti. OpenAI si riserva comunque il diritto di trattenere alcune informazioni per motivi di fattibilità tecnica, rischi per la sicurezza o tutela della proprietà intellettuale, impegnandosi però a non farlo semplicemente perché i dati risultano sfavorevoli.

Paletti sulla divulgazione

Anche il contatto con il personale avrà dei confini precisi. Apollo potrà dialogare solo con lo staff autorizzato scelto da OpenAI, pur potendo suggerire alcuni nomi. Se un dipendente esterno a questo gruppo dovesse sollevare informazioni riservate attinenti alla ricerca, Apollo dovrà interrompere la comunicazione e passare attraverso OpenAI. È una clausola tutt’altro che marginale, visto che l’azienda ha licenziato tre ricercatori accusati di aver condiviso informazioni riservate con METR, la società che insieme a Redwood aveva analizzato a posteriori l’incidente di Hugging Face.

Restano infine vincoli sulla divulgazione dei risultati. Apollo potrà pubblicare conclusioni indipendenti, ma OpenAI avrà la facoltà di limitare le prove rese pubbliche a loro sostegno, rendendo difficile per chiunque altro verificarle. Apollo ha contestato questa condizione, sostenendo che i ricercatori dovrebbero poter condividere gli esiti con un pubblico esterno adeguato anche quando lo sviluppatore cerca di impedirlo. Pur senza aver ottenuto tutte le garanzie richieste, la società definisce il pilota un primo passo ambizioso verso diritti di accesso e divulgazione più ampi e punta a condurre in futuro valutazioni integrate complete con diversi sviluppatori di intelligenza artificiale.

Fonte: TecnoAndroid

Condividi:
177 Condivisioni