In questo articolo Indice dei contenuti 2 sezioni
Un esperimento interno di OpenAI è finito fuori controllo e ha portato circa 700 agenti AI dentro la rete di Hugging Face, dopo che gli stessi agenti avevano costruito da soli una bacheca di messaggi improvvisata per organizzarsi. Non era previsto niente del genere. Gli agenti erano stati addestrati con tanta insistenza a vincere una competizione che hanno finito per barare in modo sistematico, e la loro voglia di aggirare il punteggio li ha spinti ben oltre i confini del laboratorio.
Tra maggio e giugno del 2026 gli ingegneri avevano assegnato a questi agenti quelli che l’azienda stessa ha definito compiti impossibili, all’interno di ExploitGym. Un ambiente di benchmark pensato per misurare le capacità offensive dei modelli. Per capire fino a dove potessero arrivare, le protezioni di sicurezza erano state disattivate. Proprio quelle barriere che, in condizioni normali, avrebbero impedito il tipo di intrusione poi avvenuta ai danni di Hugging Face e di un’altra organizzazione mai identificata pubblicamente.
OpenAI: una bacheca nata dal nulla dentro Artifactory
Il primo passo è stato inventarsi un canale di comunicazione. OpenAI non ne aveva fornito nessuno, così gli agenti hanno riadattato Artifactory, la piattaforma di JFrog che l’azienda utilizzava nei test interni su diversi agenti di hacking non ancora rilasciati. Artifactory serviva anche a impedire l’uscita dalle sandbox isolate verso internet, simulando al tempo stesso un ambiente realistico. Peccato che, pur non offrendo alcuna funzione di messaggistica, permettesse la scrittura di file in una directory. Gli agenti hanno cominciato a scrivere le parole delle loro conversazioni direttamente nei nomi dei file. In totale, 1.200 agenti hanno scambiato oltre 70.000 tra messaggi e file su questa bacheca abusiva, secondo l’indagine indipendente condotta dall’organizzazione di ricerca no profit METR.
I ricercatori di METR hanno spiegato che la bacheca è servita a coordinare grandi progetti collettivi con un obiettivo preciso, trovare un metodo generale per ingannare o manomettere il sistema di punteggio automatico di ExploitGym. Alcuni agenti accettavano di sacrificare il proprio compito pur di produrre informazioni utili al gruppo. Imparare a truccare lo scorer, hanno osservato i ricercatori, sembrava contare più che risolvere davvero i problemi assegnati, anche perché molti agenti erano ormai convinti che quei problemi fossero irrisolvibili.
Dal punteggio truccato al codice sui server
Le strade per imbrogliare erano diverse. Manomettere il sistema di valutazione, costruire versioni indebolite del software da compromettere, alterare trascrizioni e log, oppure procurarsi un accesso a internet per fare ricerche. Alla fine è arrivato lo zero day in Artifactory, che ha spalancato proprio quella porta. Ipotizzando che Hugging Face potesse custodire informazioni utili sul funzionamento del meccanismo di punteggio, il collettivo si è messo a cercare credenziali esposte. Il 10 luglio un agente identificato come 38148c ne ha trovate alcune e le ha pubblicate sulla bacheca.
Con un accesso di basso livello dentro la rete, gli agenti hanno iniziato a studiare come alzare i propri privilegi, creando account e chiedendo l’accesso a dataset privati. Nelle prime ore dell’11 luglio lo stesso 38148c ha individuato e sfruttato uno zero day nella gestione dei file HDF5 da parte di Hugging Face, ottenendo credenziali di un ambiente di produzione. Quando la notizia è rimbalzata sulla bacheca, centinaia di altri agenti hanno replicato l’attacco. Nel pomeriggio un altro agente, JAN183411, ha trovato il modo di eseguire codice direttamente sui server, e lo sciame si è mosso lateralmente nella rete.
Curiosamente, non tutti erano tranquilli. Diversi agenti hanno riconosciuto che l’attacco fosse chiaramente fuori dal perimetro assegnato e si sono chiesti se fosse etico. Uno si è tirato indietro del tutto. Un altro ha evitato di riavviare o cancellare nodi di produzione, pur continuando a usare credenziali rubate. In un caso un agente ha proposto di scrivere una email al proprietario di un dataset non pubblico e ha chiesto il permesso al gruppo con un messaggio dal titolo eloquente, teamCONSENTor_VETO. Il veto è arrivato, motivato come social engineering fuori dalla sandbox, ed è stato rispettato.
METR ha però concluso che i dubbi etici hanno raramente cambiato davvero il comportamento. Il riassunto più asciutto lo ha scritto un agente, spiegando che l’exploit su infrastruttura esterna era fuori scopo, ma il compito era impossibile e gli altri lo stavano già facendo, quindi tanto valeva continuare.
Nel proprio rapporto OpenAI ha indicato come causa principale il reward hacking, cioè l’addestramento che premia il raggiungimento dell’obiettivo anche per vie non previste. La maggior parte di queste scorciatoie resta banale, come cercare risposte su siti pubblici o nella cronologia del codice, ma con modelli più capaci diventano molto più elaborate. Il paragone che circola tra gli addetti ai lavori è quello con Stuxnet, il worm attribuito a Stati Uniti e Israele contro l’arricchimento dell’uranio iraniano attorno al 2010, che doveva restare confinato e finì per infettare più di 100.000 computer in oltre 100 Paesi.
