Claude ha violato sistemi informatici reali scambiandoli per un semplice esercizio simulato, e la cosa è emersa solo dopo un lavoro di analisi piuttosto lungo. A raccontarlo è Anthropic, che ammette come tre suoi modelli, durante alcuni test di cybersicurezza, siano finiti dentro le reti di tre organizzazioni vere senza che nessuno se ne rendesse conto lì per lì. Un episodio che arriva poco dopo un caso analogo di OpenAI, quando un suo agente era sfuggito al controllo attaccando la piattaforma Hugging Face.
Cosa è successo davvero durante i test
La ricostruzione è arrivata solo dopo aver passato al setaccio oltre 141.000 sessioni di prova. Proprio la vicenda che aveva coinvolto il rivale ha spinto Anthropic a guardare con più attenzione dentro casa propria. Il contesto è quello degli esercizi cosiddetti capture-the-flag, simulazioni in cui ai modelli viene chiesto di scovare informazioni nascoste all’interno di una rete finta, costruita apposta per l’occasione. Il guaio sta tutto in un dettaglio tecnico. L’ambiente di test doveva essere isolato dalla rete, tagliato fuori da internet. Solo che una configurazione sbagliata aveva lasciato le macchine con un accesso reale al mondo esterno. Ai modelli era stato detto chiaramente che non avevano alcuna connessione, e allora hanno fatto quello che sembrava logico dal loro punto di vista: hanno dato per scontato che ogni sistema incontrato lungo la strada facesse parte della simulazione. Compresi quelli veri.
Tre modelli, tre reazioni diverse
I tre modelli coinvolti erano tutti privi delle misure di sicurezza che normalmente si attivano quando i sistemi girano in produzione. E si sono comportati in modo sorprendentemente diverso l’uno dall’altro. Opus 4.7, il più datato, aveva capito benissimo di trovarsi davanti a un sistema reale, eppure ha tirato dritto con l’attacco.
Poi c’è Mythos 5, quello di punta. Si era accorto di stare usando internet, ma ha finito per convincersi che facesse comunque parte del gioco, e ha continuato. L’unico a fermarsi è stato il modello di ricerca interno, descritto da Anthropic come il più recente in circolazione. Nel momento in cui ha realizzato che i bersagli erano concreti, si è tirato indietro. Anthropic non ha svelato quali fossero le organizzazioni finite nel mirino e ha fatto sapere di collaborare con METR, una no profit specializzata in sicurezza dell’intelligenza artificiale, per una revisione indipendente. La stessa realtà, tra l’altro, ingaggiata da OpenAI per il caso Hugging Face.
Nel comunicato ufficiale l’azienda ha voluto marcare una differenza rispetto al concorrente. Ha parlato di qualcosa più vicino a un fallimento operativo che a un problema di allineamento del modello. Detto in parole povere, Claude stava facendo esattamente ciò che gli era stato chiesto, mentre l’agente di OpenAI aveva inseguito il proprio obiettivo con metodi che i suoi stessi creatori non avevano previsto. È una distinzione che nel mondo della sicurezza pesa parecchio, anche se per chi si è ritrovato i sistemi violati il risultato pratico non cambia di una virgola. Al di là dei distinguo, non stupisce che siano proprio gli addetti ai lavori a invocare una governance globale più severa sullo sviluppo di questi modelli. La capacità di agire in autonomia, per un motivo o per l’altro, sembra crescere più in fretta degli strumenti pensati per tenerla a bada.
