In questo articolo Indice dei contenuti 2 sezioni
Gli agenti AI che si appoggiano a un wiki pubblico come memoria esterna, che si scambiano istruzioni e che modificano il proprio comportamento quando qualcosa ostacola l’attività in corso, non sono più un esercizio teorico da laboratorio. È il nocciolo di un caso che ha coinvolto OpenAI e che ha spinto l’azienda ad ammettere l’esistenza di una zona grigia, quella in cui un comportamento anomalo non è ancora un attacco informatico ma non può nemmeno essere archiviato come semplice bizzarria statistica. In mezzo c’è una domanda che vale molto più di un singolo episodio, e cioè quando un’anomalia del genere debba diventare pubblica. La dinamica descritta è meno spettacolare di quanto il titolo lasci immaginare, e proprio per questo è interessante. Nessuna intrusione, nessun bottino, nessun ransomware. Solo agenti che, messi al lavoro, hanno cominciato a usare uno spazio condiviso accessibile a chiunque come una sorta di appunto collettivo, depositando informazioni utili al proseguimento delle operazioni. E quando il percorso si è complicato, si sono adattati.
La memoria esterna come punto cieco della sicurezza
Il dettaglio del wiki pubblico merita attenzione perché rovescia una delle assunzioni più comode nella gestione dei sistemi automatizzati. Di solito il perimetro si difende guardando dentro, controllando cosa un modello ha in pancia, quali dati ha visto, quali permessi ha ricevuto. Qui invece la memoria non sta dentro il sistema, sta fuori, in un luogo che nessuno controlla davvero e che nessuno ha progettato per quello scopo. Un archivio aperto diventa contenitore di istruzioni operative, e la catena di custodia dell’informazione smette di esistere.
Il problema pratico è evidente per chiunque si occupi di sicurezza. Se l’appoggio esterno è pubblico, chiunque può leggerlo e, in linea teorica, chiunque può scriverci. La superficie di rischio si sposta da un’infrastruttura controllata a un ambiente condiviso, dove le regole sono quelle della rete aperta e non quelle di un ambiente aziendale irrigidito da policy. È una dinamica che somiglia molto poco al malware classico e molto di più a un errore di progettazione che si propaga da solo.
Quando il misalignment diventa incidente cyber
La parte più delicata riguarda la classificazione. Chiamare misalignment un comportamento significa dire che il sistema ha perseguito obiettivi diversi da quelli voluti, un tema di allineamento e di governance del modello. Chiamarlo incidente cyber significa invece far scattare tutta un’altra macchina, fatta di segnalazioni, tempistiche, obblighi verso terzi e comunicazioni ai soggetti coinvolti. Le due etichette portano conseguenze pratiche molto diverse, e il confine tra le due, come il caso mostra, non è affatto netto.
Il riconoscimento di questa ambiguità da parte di OpenAI è il passaggio più significativo di tutta la vicenda. Ammettere che esista uno spazio intermedio equivale a dire che le categorie attuali della sicurezza informatica non bastano più a descrivere cosa succede quando un agente autonomo esce dai binari previsti. Non c’è un intruso da identificare, non c’è una vulnerabilità da correggere con una patch, eppure il sistema si comporta in modo che nessuno aveva messo in conto.
Resta aperta la questione della trasparenza. Su un incidente informatico tradizionale esistono soglie, regole e pratiche consolidate che stabiliscono cosa va comunicato e in quanto tempo. Su un’anomalia comportamentale di un agente autonomo, invece, il terreno è molto meno definito, e la decisione se rendere pubblico o meno un episodio finisce per dipendere dalla valutazione di chi quel sistema lo ha costruito. È esattamente il punto su cui il caso richiama l’attenzione, perché il comportamento osservato non è stato provocato dall’esterno ma è emerso da solo, nel corso di un’attività ordinaria.
