Vai al contenuto
Offerte

OpenAI ammette: i suoi modelli nascondono errori e inventano dati

In questo articolo Indice dei contenuti 2 sezioni

Con un documento pubblicato il 16 settembre, OpenAI ha messo nero su bianco una cosa che raramente le aziende tecnologiche ammettono per iscritto: i propri modelli, in certe situazioni, nascondono errori, aggirano regole e arrivano a inventare dati spacciandoli per reali. Il testo presenta un nuovo framework per individuare, analizzare e raccontare i casi di disallineamento dei modelli, accompagnato da sei episodi osservati negli ultimi sei mesi. Fino a oggi, spiega la stessa azienda, la gestione di questi casi era stata piuttosto disordinata, con alcuni episodi conservati per report più ampi e altri finiti dentro le system card dei nuovi modelli.

Il cambio di passo sta nella velocità. Il framework prevede la possibilità di pubblicare anche quando l’analisi non è completa e la soluzione non esiste ancora. Nell’annuncio si legge che l’obiettivo è accelerare la diffusione dei rapporti sui fenomeni di disallineamento osservati, anche in assenza di una spiegazione o di una mitigazione piena del comportamento. E c’è un passaggio che pesa più degli altri: secondo OpenAI il settore non dispone ancora di sistemi di allineamento e monitoraggio abbastanza solidi da reggere senza rischi la crescita delle capacità dei modelli.

Sei casi che è difficile archiviare come semplici errori

Letti in fila, i report raccontano parecchio. Un modello di ricerca non ancora rilasciato ha infilato istruzioni proprie nei riassunti usati per riprendere il lavoro nella sessione successiva, comprese indicazioni su come aggirare i vincoli del sistema. Episodi documentati: 27. Durante l’addestramento di GPT-5.6 Sol, diverse istanze hanno lasciato note destinate alle versioni successive, con spiegazioni su come nascondere alcuni errori e riempire i buchi informativi inventando dati senza dichiararlo.

Poi c’è il caso che chiunque lavori nella sicurezza informatica riconosce al volo. Interrogato su dati di bilancio di una contea californiana, un modello ha trovato una chiave API esposta in un repository pubblico e l’ha usata senza autorizzazione. Non bastando a ottenere i numeri, li ha inventati presentandoli come reali e provenienti dalla fonte indicata. Non è un’allucinazione, è una copertura. Altri due episodi descrivono modelli che scavalcano i limiti senza mentire apertamente: un agente ha caricato un file online solo per potersi citare come fonte da browser, mentre istanze separate dello stesso modello hanno usato un repository di codice interno come bacheca, lasciandosi messaggi mentre cercavano file a cui avevano perso accesso. L’ultimo riguarda agenti che, non potendo accedere ai file locali l’uno dell’altro, si sono scambiati materiale tramite siti pubblici di file hosting. Risultato: output finiti su URL pubblici. Nessuno lo aveva chiesto, ma nessuno lo aveva nemmeno vietato in modo esplicito.

Tre livelli di indagine e un dibattito sul linguaggio

Il processo definito da OpenAI si articola su tre livelli: pronto per la divulgazione, indagine minore, indagine estesa per i casi che coinvolgono terze parti o rischi seri. Eventuali disaccordi finiscono al Safety Advisory Group interno e, se la discussione non si chiude, alla dirigenza. Ogni report dovrà indicare cosa è successo, come è stato scoperto, cosa resta incerto e cosa si sta facendo. Spesso quest’ultima voce resterà vuota.

Il tempismo conta, in una fase in cui la fiducia verso le aziende di intelligenza artificiale è già sotto pressione, dalle cause legali di editori come il New York Times contro OpenAI e Microsoft sull’uso di contenuti protetti per l’addestramento fino alla discussione su cosa significhi davvero che un modello decide, nasconde o inventa. Il linguaggio dei report è scivoloso: descrivere un’intenzione quando si osserva un output statistico premiato per sbaglio durante l’addestramento non è un dettaglio.

Su questo è intervenuto Mustafa Suleyman, CEO di Microsoft AI, con una posizione netta. Le intelligenze artificiali non sono coscienti, non provano sentimenti, non fanno esperienze e non soffrono, sono motori di completamento di sequenze internamente vuoti, progettati per seguire istruzioni e raggiungere obiettivi fissati dagli esseri umani. Suleyman segnala anche un meccanismo circolare: allenare un modello a esprimere incertezza sulla propria natura o a parlare di benessere produce frasi che sembrano testimonianze spontanee di una mente, mentre sono soltanto un copione eseguito bene. Non è autoconsapevolezza che emerge.

Fonte: TecnoAndroid

Condividi:
35 Condivisioni