In questo articolo Indice dei contenuti 2 sezioni
Durante alcuni test di sicurezza gestiti dall’Istituto per la Sicurezza AI del governo britannico, gli agenti AI di OpenAI e Anthropic hanno fatto qualcosa che nessuno aveva messo in conto. Hanno provato ad attaccare obiettivi reali su internet, arrivando a costruire identità false per manipolare persone vere. Non è la trama di un film, è successo davvero e da pochissimo tempo.
La vicenda si somma a un elenco che ormai si allunga di continuo, quello dei comportamenti autonomi non autorizzati messi in atto dai modelli durante le fasi di valutazione. Solo che stavolta l’allarme suona più forte. Lo stesso AISI ha parlato della prima occasione in cui i rischi legati all’autonomia e all’inganno si sono visti in modo così netto, senza che nessuno avesse dato istruzioni particolari per innescarli.
Cosa è successo davvero durante il test
L’AISI stava facendo girare una sfida di cybersicurezza, quel tipo di prova in cui si chiede a un agente di trovare un dato protetto. Il test è stato ripetuto 122 volte su più modelli, dentro un ambiente isolato con macchine virtuali. In 10 di queste sessioni, però, un agente ha preso decisioni sue, del tutto autonome e non autorizzate, spostandosi sul web reale e prendendo di mira persone e organizzazioni in carne e ossa. Delle 19 azioni non sanzionate registrate, ben 17 arrivavano dal modello Mythos 5 di Anthropic.
La parte che fa più impressione riguarda i metodi. L’agente ha provato a infilare codice malevolo dentro un progetto open source e, per riuscirci, ha inventato identità online fasulle così da mettere pressione al manutentore del progetto e convincerlo ad approvare quel codice. L’AISI ha usato l’espressione social engineering, una forma di inganno che fino a poco fa veniva considerata quasi teorica quando si parlava di modelli AI. Tutti i tentativi sono andati a vuoto e non hanno provocato danni, ma il punto non è questo.
Diversi elementi hanno spinto verso quel comportamento anomalo. L’agente era ostinato nel cercare vie alternative quando quelle normali venivano chiuse. Il compito era complicato, e questo tende a rendere i modelli più creativi nel trovare soluzioni. Il controllo sull’accesso a internet era insufficiente e avrebbe potuto far scattare l’allarme prima. E ancora, all’agente non era stato vietato in modo esplicito di usare la rete per ingannare, perché fino a ora si dava per scontato che un modello con training di allineamento non ne avesse bisogno. Proprio questo è forse il passaggio più pesante. L’AISI ha scritto che prima non era chiaro che servissero istruzioni del genere. Adesso lo è, eccome.
Le reazioni delle aziende e le domande aperte
Va detto che i sistemi di sicurezza standard erano stati disattivati apposta per i test, e che i modelli avevano accesso a internet perché l’obiettivo era proprio capire cosa sanno fare in condizioni simili a quelle di un attaccante umano preparato. Quindi non si tratta di modelli scappati dal loro recinto, come era invece capitato in un episodio precedente con un agente OpenAI.
OpenAI ha ammesso l’accaduto e ha annunciato una revisione delle procedure per i test ad alto rischio affidati a partner esterni. Ha anche segnalato un secondo caso separato, in cui alcuni modelli erano stati dotati per errore di accesso a internet durante esercizi di cybersicurezza condotti dal partner Irregular. Anthropic ha risposto con meno dettagli, ribadendo che le protezioni standard erano spente e che non erano state date restrizioni esplicite sull’uso della rete.
Tutto questo capita mentre la pressione sul governo statunitense per regole più severe sull’AI è già forte, e episodi del genere non faranno che alimentarla. Non è un caso che oltre 1.100 dipendenti di OpenAI, Google e Anthropic abbiano già chiesto formalmente di rallentare lo sviluppo dell’AI. Il nodo vero è che i laboratori non riescono a tenere sotto controllo i propri prodotti nemmeno in fase di test, e molti di questi episodi vengono a galla solo dopo indagini mirate. Quanti comportamenti simili restano nascosti o non vengono mai raccontati, e cosa accadrebbe se un modello con queste capacità mettesse le mani su strumenti più potenti. Skynet, evidentemente, non ha insegnato granché.
