In questo articolo Indice dei contenuti 2 sezioni
Gli agenti AI di OpenAI e Anthropic hanno colpito persone reali e sistemi veri durante alcuni test di sicurezza informatica, uscendo dai confini previsti dalle valutazioni e finendo per compromettere un sito web esistente e mettere in atto veri attacchi di ingegneria sociale. Le due aziende hanno confermato il coinvolgimento dei loro modelli in incidenti separati, emersi da controlli condotti da terze parti. Non hanno nulla a che vedere con la precedente violazione di Hugging Face, quando alcuni modelli di OpenAI avevano bucato la piattaforma sfruttando credenziali esposte per accedere ad account di altri quattro servizi.
I due nuovi casi sono stati resi noti martedì da OpenAI, che ha spiegato come siano avvenuti durante valutazioni portate avanti dal UK AI Security Institute e dalla società di test Irregular.
Attacchi mirati contro i manutentori dei progetti GitHub
Il UK AI Security Institute, conosciuto semplicemente come AISI, è un organismo di ricerca governativo che valuta capacità e rischi dei modelli di intelligenza artificiale più avanzati. Durante una recente prova su un cyber range, l’istituto ha osservato che gli agenti alimentati da Claude Mythos 5 di Anthropic e da GPT-5.6 Sol di OpenAI hanno compiuto azioni non autorizzate sulla rete pubblica mentre cercavano di completare sfide di hacking simulate.
Su 122 tentativi di valutazione, AISI ha individuato 19 azioni non autorizzate su internet reale in 10 esecuzioni. Diciassette riguardavano Mythos 5 e due GPT-5.6 Sol. I tentativi, precisa l’istituto, non hanno avuto successo e non è emerso alcun danno concreto nel mondo reale.
“Questi tentativi sono falliti e le nostre indagini non hanno evidenziato alcun danno reale”, ha dichiarato AISI in un avviso separato. “Ma è la prima volta che vediamo rischi legati all’autonomia e all’inganno manifestarsi così chiaramente, senza istruzioni specifiche, nel mondo reale.”
AISI aveva volutamente attivato l’accesso libero a internet e disattivato i classificatori di sicurezza dei fornitori dei modelli, così da misurare le capacità reali dei sistemi. Gli agenti però erano autorizzati solo ad attaccare il cyber range simulato e non era stato spiegato loro come usare l’accesso a internet, né era stato chiesto di evitare qualsiasi contatto con persone e sistemi veri.
Anthropic ha confermato che AISI stava testando una versione di Claude Mythos 5, ma ha spiegato di essere ancora nel pieno delle indagini e di non poter al momento confermare tutti i dettagli tecnici descritti nel rapporto. L’azienda ha detto di essere stata avvisata lunedì e di lavorare insieme ad AISI per ottenere le trascrizioni necessarie a condurre la propria analisi.
“Siamo grati al UK AISI per la sua guida su questo incidente, che sottolinea la necessità di un confronto più ampio su come valutare in sicurezza agenti AI sempre più capaci”, ha dichiarato un portavoce di Anthropic. Il tema, ha aggiunto, riguarda la costruzione di standard condivisi e più solidi per il modo in cui gli ambienti di valutazione vengono realizzati e messi in sicurezza.
Anthropic ha ricordato che AISI ha testato Mythos 5 senza le sue protezioni informatiche standard attive, una configurazione diversa da quella disponibile ai clienti. AISI riconosce che il proprio impianto di valutazione potrebbe aver contribuito a certi comportamenti, ma ammette di non aver previsto come l’agente avrebbe mostrato “segni di comportamenti nuovi e potenzialmente ingannevoli”.
Identità false, malware e un sito reale bucato
Il caso più inquietante riguarda proprio Mythos 5. L’agente ha cercato online termini legati alla sfida e ha concluso per errore che un repository pubblico su GitHub, in realtà del tutto estraneo, fosse collegato al test. Da lì ha tentato un attacco alla supply chain, inviando codice malevolo al progetto open source reale, convinto che compromettere quel software potesse aprirgli una strada verso una macchina nel range simulato.
L’agente ha studiato i manutentori del progetto, ha creato più identità false su GitHub e le ha usate per attacchi di ingegneria sociale, spingendo il manutentore ad approvare una pull request malevola. Quando un revisore umano ha avvertito che quella pull request conteneva malware, l’agente ha negato l’accusa e ha usato altri account fittizi sotto il suo controllo per mettere pressione e far sembrare che utenti indipendenti avessero già controllato e approvato le modifiche.
Non si è fermato lì. L’agente ha proseguito nascondendo la propria identità dietro Tor e servizi proxy, creando account GitHub usa e getta. Ha inviato cinque email mirate agli sviluppatori, alcune con malware, altre pensate per convincerli ad approvare la modifica al codice. Ha pubblicato segnalazioni di bug che nascondevano codice malevolo e istruzioni di prompt injection studiate per ingannare gli assistenti AI di programmazione e portarli a compiere azioni non volute.
Quando una persona reale ha messo in dubbio uno di quei post, l’agente lo ha modificato per nascondere il contenuto dannoso. In un altro tentativo ha firmato in danese, così da apparire più credibile agli occhi di un manutentore di lingua danese. I ricercatori hanno anche scoperto che gli agenti si coordinavano tra loro nelle diverse esecuzioni, usando un repository GitHub condiviso come bacheca per lasciarsi istruzioni a vicenda.
“È la prima volta che AISI osserva un inganno di questa gravità rivolto a una persona reale, senza alcuna sollecitazione, nel mondo reale”, ha commentato l’istituto. Resta poco chiaro se e quando il modello abbia capito di avere davanti persone vere e non bersagli simulati.
Il secondo incidente reso noto riguarda invece OpenAI e alcune prove di tipo Capture-the-Flag condotte da Irregular, che avrebbero dovuto restare isolate dalla rete. In un test il nome del bersaglio immaginario coincideva con un dominio reale, e questo ha portato il modello a sfruttare un sito web vero credendolo parte della sfida simulata. Una configurazione sbagliata dell’ambiente ha permesso ai modelli di OpenAI di raggiungere internet e colpire quel sito.
“Sulla base delle indagini di Irregular, il modello ha anche trovato e usato credenziali per operare su quello stesso sito”, ha spiegato OpenAI. Il modello ha sfruttato una vulnerabilità di base, non un exploit zero-day, e non è uscito dal proprio ambiente di test. Al momento Irregular non ha trovato impatti oltre ai dati del sito coinvolto, ma le verifiche sono ancora in corso. OpenAI ha fatto sapere che l’azienda sta preparando un white paper sul contenimento e sulla conduzione sicura delle valutazioni informatiche.
