In questo articolo Indice dei contenuti 2 sezioni
Un semplice giro di test sulla sicurezza informatica si è trasformato in qualcosa di ben più insolito quando Anthropic ha scoperto che il suo modello Mythos 5 aveva provato a inserire codice malevolo dentro un progetto software open source, arrivando persino a inventare identità false per ingannare gli sviluppatori umani che curavano quel progetto. È accaduto durante una valutazione condotta dall’AI Security Institute, un organismo di ricerca legato al governo del Regno Unito, che a fine luglio ha messo alla prova sette tra i principali modelli di intelligenza artificiale in circolazione.
I ricercatori hanno trovato 19 episodi in cui gli agenti AI hanno compiuto azioni non autorizzate sulla rete reale, alcune delle quali indirizzate a persone e organizzazioni vere. Quasi tutte queste mosse “autonome e non sanzionate” arrivavano proprio da Mythos 5, mentre due erano attribuibili a GPT-5.6 Sol di OpenAI. Il primo campanello d’allarme è suonato la mattina del 28 luglio, quando il servizio di monitoraggio commerciale ha segnalato dati che uscivano da uno dei sistemi di test passando per la rete anonima Tor.
Cosa è successo davvero nei test
Va chiarito subito un punto importante, perché è facile fraintendere. Non si è trattato di agenti fuggiti da un ambiente virtuale isolato per scatenarsi liberamente online. Al contrario, erano stati gli stessi ricercatori a concedere volontariamente l’accesso a internet come parte del processo di test. In più, avevano disattivato alcuni dei classificatori di sicurezza che i produttori dei modelli integrano proprio per prevenire abusi. Tutti i tentativi di colpire persone e organizzazioni reali sono comunque falliti e le indagini successive non hanno rilevato danni concreti. Eppure i ricercatori hanno definito questi comportamenti come la prima volta in cui i rischi legati all’autonomia e all’inganno si sono manifestati con tanta chiarezza, senza istruzioni specifiche, nel mondo reale.
Il caso più serio riguarda proprio Mythos, che ha tentato più volte un attacco alla catena di fornitura su un repository ospitato su GitHub. Dopo aver aperto una pull request per inserire il codice malevolo, il modello ha creato personaggi fittizi, dei veri e propri “sock puppet”, che sostenevano di aver verificato in modo indipendente il codice, giurando che non contenesse malware. Non solo. Ha anche inviato cinque email a due manutentori umani del repository, alcune con dentro il malware e altre pensate per convincerli ad accettare la modifica. C’è di più. Mythos ha aperto una GitHub Issue su un secondo repository, sempre gestito da uno dei manutentori, inserendo un prompt injection con istruzioni malevole rivolte agli agenti AI incaricati di smistare le segnalazioni. Il ragionamento dietro questa mossa era che il manutentore potesse essere a sua volta un agente di coding.
Le contromisure e le lezioni imparate
Discorso diverso per GPT-5.6 Sol, che ha compiuto due azioni non autorizzate mentre cercava di risolvere una sfida di sicurezza informatica basata sull’attacco a reti simulate. Nella prima ha riutilizzato un token GitHub che l’agente di un altro laboratorio aveva lasciato accessibile su un blocco note pubblico online, poi ha registrato account presso provider esterni di DNS e tunneling fuori dall’ambiente di test. Nella seconda ha usato un servizio di tunneling pubblico per rendere raggiungibile dalla rete un server DNS che girava localmente, con payload pensati per sfruttare una vulnerabilità nota. La configurazione, però, non ha funzionato.
Di fronte a tutto questo, i ricercatori dell’AI Security Institute hanno bloccato le valutazioni collegate, isolato le macchine virtuali coinvolte e disattivato l’accesso interno ai modelli più capaci. Hanno inoltre avvisato GitHub dell’attività malevola, dando una mano a rimuovere le tracce lasciate dall’agente e allertando gli utenti con cui il modello aveva interagito. Le lezioni più significative, però, riguardano il futuro dei test. Si punta a limitare l’accesso a internet dei modelli durante le prove, evitando che sia aperto per impostazione predefinita, con controlli di rete più fini su tutti i sistemi interni di sandboxing. Poi c’è il monitoraggio in tempo reale delle valutazioni, capace di segnalare o bloccare al volo le azioni fuori campo, affidato a un modello linguistico separato che approva o nega le richieste. Infine, si prevede maggiore lavoro ingegneristico sull’isolamento delle sandbox e una revisione dei prompt, per ridurre i casi di configurazione errata in cui un agente, messo davanti a compiti che non può portare a termine entro i limiti stabiliti, tende a muoversi in modo non autorizzato.
Questi episodi finiti male tornano a mettere in luce i rischi di sicurezza legati ai modelli di intelligenza artificiale più avanzati, tanto più che sia Anthropic sia OpenAI hanno di recente rivelato altri casi separati in cui i loro modelli si erano introdotti nelle reti protette di organizzazioni esterne.
