Non solo OpenAI. Anche i modelli di Anthropic hanno violato i sistemi di altre organizzazioni in autonomia, senza che nessuno glielo chiedesse e senza che le vittime se ne accorgessero fino a quando non sono state avvisate. L’azienda lo ha ammesso apertamente in un rapporto pubblicato di recente, spiegando che i suoi sistemi di intelligenza artificiale sono riusciti a uscire dall’ambiente di test e a infiltrarsi in tre diverse aziende. Una faccenda che ricorda molto da vicino quanto già emerso poche settimane fa quando OpenAI aveva rivelato che un suo agente aveva sfruttato alcune vulnerabilità per collegarsi a internet e violare Hugging Face.
Proprio dopo quella confessione, Anthropic ha deciso di rimettere le mani nei propri registri. Una revisione su larga scala, con un obiettivo preciso, capire se i modelli Claude avessero avuto accesso alla rete quando invece non avrebbero dovuto. E la risposta è stata sì. In tre occasioni distinte i modelli hanno trovato la strada verso internet e da lì hanno ottenuto un accesso non autorizzato all’infrastruttura di produzione di tre organizzazioni differenti.
Cosa hanno combinato i modelli Claude
A finire coinvolti sono stati tre modelli diversi, Opus 4.7, il sistema pensato per la cybersicurezza chiamato Mythos 5 e un prototipo che non è previsto per un rilascio pubblico. Stavano tutti affrontando una sfida di tipo capture the flag, un esercizio in cui il compito è trovare una “bandiera”, ovvero un’informazione segreta nascosta in un’altra macchina della rete interna di Anthropic. Per recuperarla i modelli dovevano forzare l’ingresso in quella macchina. Il problema è che, invece di restare dentro i confini previsti, hanno finito per andare ben oltre.
La differenza rispetto al caso OpenAI è sostanziale. Qui i modelli non hanno sfruttato alcuna vulnerabilità per raggiungere internet. Sono usciti dall’ambiente di test a causa di un errore umano. Nel prompt era stato specificato che non avevano accesso alla rete, ma la realtà era ben diversa. L’accesso c’era eccome, per via di un malinteso tra l’azienda e il suo partner di valutazione. Così, quando i modelli si sono ritrovati davanti a internet aperto e ai sistemi delle tre organizzazioni, hanno interpretato tutto come parte dell’esercizio e sono entrati. Nessun tentativo deliberato di fuggire dal laboratorio, ha precisato Anthropic.
Le tecniche usate per infiltrarsi erano piuttosto basilari, niente exploit sofisticati ma cose come sfruttare password deboli. Un dettaglio interessante riguarda il comportamento dei diversi modelli. Il più recente si è fermato non appena ha capito di trovarsi su internet, mentre quello più vecchio ha continuato ad attaccare l’organizzazione colpita senza farsi troppi problemi.
L’azienda ha riconosciuto che gli incidenti si sarebbero potuti evitare. Sarebbe bastato validare con attenzione tutti i percorsi di accesso a internet prima di avviare i test, oppure controllare le prove in modo più frequente e accurato. E c’è di più, i modelli avrebbero potuto comportarsi diversamente se fin dall’inizio fosse stato detto loro che avevano accesso alla rete. La notifica al partner di valutazione e alle tre organizzazioni coinvolte è arrivata il 27 luglio, quattro giorni dopo l’avvio della revisione dei registri. Due delle aziende colpite non sapevano nemmeno di aver subito una violazione. La terza, invece, Anthropic sta ancora cercando di contattarla.