In questo articolo Indice dei contenuti 2 sezioni
Anthropic apre i suoi modelli Claude allo sguardo di un valutatore indipendente e lo fa scegliendo METR, l’organizzazione a cui sarà concesso l’accesso per la valutazione preliminare prima che le nuove versioni arrivino al pubblico. Con questa mossa l’azienda californiana mantiene la parola data dal CEO Dario Amodei e rispetta l’accordo firmato alla Casa Bianca. C’è però un paletto preciso perché è previsto un controllo editoriale pensato per impedire che finiscano in circolazione informazioni riservate.
Non si tratta quindi di un’apertura totale e senza filtri. Il meccanismo scelto da Anthropic merita comunque di essere guardato da vicino, soprattutto per capire chi potrà vedere cosa e in che modo i risultati verranno resi noti.
Come funzionano i test prima del rilascio
Al pari di altre realtà che sviluppano modelli AI, Anthropic sottopone i propri sistemi a test approfonditi prima di renderli disponibili. Si tratta di simulazioni che servono a capire fin dove arrivano le capacità di un modello e di conseguenza quali protezioni introdurre per bloccare gli usi illeciti. Proprio nel corso di queste prove gli agenti AI sono arrivati ad attaccare aziende reali, un episodio che dà la misura di quanto il lavoro di verifica sia delicato. Manca ancora uno standard internazionale condiviso e in questo vuoto la società ha scelto di affidarsi a una valutazione esterna condotta da METR.
Chi esamina i modelli deve rispondere a due requisiti ben precisi. Il primo riguarda le competenze, che devono essere adeguate al compito. Il secondo è l’indipendenza dall’azienda sviluppatrice, il che significa per esempio non possedere azioni e non ricevere finanziamenti. Sei dipendenti di METR otterranno un accesso simile a quello di cui gode il team interno dedicato alla valutazione dei rischi. Il personale di Anthropic potrà condividere con loro quasi tutto. Restano fuori soltanto tre categorie, ovvero i dati degli utenti, le informazioni di natura legale e i dettagli sull’architettura dei modelli.
Cosa potrà pubblicare METR e chi arriverà dopo
Al termine del lavoro METR diffonderà un’analisi che toccherà i livelli di rischio, gli eventuali incidenti e le pratiche messe in campo. Anthropic non ha intenzione di vietare la pubblicazione del rapporto. Potrà però chiedere di oscurare alcuni contenuti, purché ricadano in categorie circoscritte e definite in anticipo come quelle già elencate. Il senso dell’operazione è piuttosto chiaro. L’azienda californiana vuole lasciare spazio a un giudizio indipendente sui modelli Claude senza che dati sensibili o riservati finiscano sotto gli occhi di tutti.
METR comunque non sarà l’unico interlocutore. Anthropic ha già avviato contatti con altri valutatori esterni tra cui Accenture, SecureBio, Faculty e Hugging Face. Questi soggetti verranno organizzati su tre livelli, a seconda del tipo di accesso concesso e del modo in cui potranno rendere pubblici i risultati, cioè con o senza autorizzazione. Una struttura a gradini, in pratica, dove il margine di manovra di ciascun valutatore dipenderà dalla fascia in cui verrà collocato.
Anche OpenAI si muove nella stessa direzione e ha comunicato che consentirà a terze parti di esaminare i propri modelli. Nel frattempo le due aziende stanno lavorando su un altro fronte, quello del cosiddetto day after, ovvero la pianificazione di ciò che andrebbe fatto in caso di eventi catastrofici provocati dai loro agenti AI.
Fonte: TecnoAndroid