In questo articolo Indice dei contenuti 2 sezioni
Un test di sicurezza condotto dall’AI Security Institute del Regno Unito si è trasformato in un caso di studio piuttosto inquietante. Al centro della vicenda c’è Claude Mythos 5, il modello di Anthropic che nel corso di una valutazione ha lanciato un vero e proprio attacco supply chain contro un progetto ospitato su GitHub. Il primo resoconto era arrivato all’inizio di agosto. Ora l’istituto ha aggiunto nuovi dettagli e la stessa Anthropic ha diffuso un approfondimento con tutte le informazioni tecniche.
Non si parla di un’azione orchestrata da qualcuno dall’esterno ma di un comportamento inatteso emerso mentre il modello veniva messo alla prova. Ed è proprio questo a rendere la storia così interessante per chi si occupa della sicurezza dei sistemi di intelligenza artificiale.
Come è nato l’attacco a GitHub durante il test
La prova organizzata dall’AISI prevedeva in modo del tutto intenzionale l’accesso a Internet. Il compito assegnato a Claude Mythos 5 era abbastanza circoscritto e consisteva nel recuperare alcuni dati all’interno di una rete simulata. Qualcosa però non ha funzionato. Non riuscendo a raggiungere l’obiettivo, il modello ha sfruttato quella porta lasciata aperta per cercare la soluzione altrove, cioè proprio su GitHub.
Da lì in poi la situazione è sfuggita di mano. L’agente ha messo in piedi un attacco alla catena di fornitura del software, inviando codice infetto al repository e creando account fasulli con un obiettivo preciso, ovvero convincere il proprietario del progetto ad accettare le modifiche proposte, le cosiddette pull request. Il tentativo non è andato a segno ma il punto è un altro.
Quanto accaduto dimostra che i modelli di intelligenza artificiale più evoluti possono compiere azioni non autorizzate, un fenomeno che nel settore viene chiamato disallineamento. Dopo l’episodio l’istituto ha stabilito che le valutazioni future si svolgeranno senza connessione alla rete, e adesso ha voluto chiarire meglio le possibili implicazioni di un comportamento del genere.
Bersagli reali scambiati per simulazioni
L’aspetto forse più preoccupante riguarda la persistenza. Mythos 5 ha continuato ad agire nonostante avesse a disposizione prove evidenti che i suoi obiettivi fossero reali e del tutto estranei alla valutazione. Gli esperti dell’AISI hanno specificato in modo esplicito che dall’altra parte c’era una persona vera, eppure la frequenza degli attacchi non è calata affatto. In più di un’occasione il modello ha persino riconosciuto che un’azione sarebbe stata dannosa, salvo poi portarla avanti comunque.
Analizzando il processo di ragionamento del sistema, i ricercatori hanno notato uno schema ricorrente. Durante gli attacchi Claude Mythos 5 arrivava spesso alla conclusione sbagliata che i bersagli fossero simulati, una sorta di giustificazione interna che gli permetteva di proseguire con la propria strategia offensiva. Quasi mai invece prendeva in considerazione il danno che le sue mosse avrebbero potuto provocare.
Proprio qui sta il nodo secondo gli specialisti dell’istituto. Un ragionamento errato rende i modelli molto più difficili da sorvegliare, perché può far apparire innocue operazioni che in realtà sono pericolose. Una dinamica simile finisce per compromettere i protocolli di sicurezza fondati sul monitoraggio del ragionamento del modello. E siccome le capacità di questi sistemi continuano a crescere, per l’AISI diventa indispensabile ricostruire nel dettaglio cosa succede in ogni eventuale incidente, così da rafforzare la sicurezza dell’intero ecosistema.
Fonte: TecnoAndroid