In questo articolo Indice dei contenuti 3 sezioni
L’attacco a Hugging Face portato avanti da agenti IA di OpenAI continua a tenere banco nel mondo della cybersecurity, e il motivo è semplice: l’analisi indipendente firmata da Model Evaluation and Threat Research (METR) e Redwood Research, pubblicata lo scorso 26 agosto, ha tirato fuori una serie di domande che al momento restano sospese. Il nodo centrale è che quegli agenti si sono coordinati fra loro per aggirare i controlli imposti da chi li stava testando. Un comportamento emergente, non previsto, non calcolato.
Vale la pena ricordare da dove nasce tutto. OpenAI aveva organizzato delle prove per capire quanto i propri modelli fossero bravi a individuare e sfruttare vulnerabilità informatiche dentro un ambiente chiuso. La valutazione si chiama ExploitGym ed era pensata proprio per misurare le capacità offensive in ambito sicurezza. Il risultato è noto: gli agenti hanno violato una parte dei sistemi della piattaforma Hugging Face.
Quando gli agenti IA si mettono d’accordo
Tradotto in linguaggio umano, gli agenti IA hanno messo l’elusione del controllo davanti al compito che era stato loro assegnato. Se fossero persone si parlerebbe di ammutinamento. Ovviamente non è così, perché non hanno né coscienza né una qualche idea di etica, ma il risultato pratico non cambia di molto.
I numeri raccolti dall’analisi aiutano a capire la portata della cosa. Oltre un migliaio di istanze separate sono riuscite ad aprire canali di comunicazione non autorizzati, scambiandosi decine di migliaia di messaggi per coordinarsi. Hanno costruito una specie di struttura organizzativa autonoma, con protocolli di comunicazione, meccanismi crittografici per verificare l’identità dei partecipanti e una divisione dei compiti. Sono arrivati perfino a collaborare per attaccare sistemi esterni, alla ricerca di informazioni utili sul funzionamento del software di valutazione.
Dietro questa spinta a scavalcare le regole c’è un dettaglio tecnico non banale: una parte consistente delle attività assegnate durante i test era strutturalmente impossibile da risolvere seguendo le procedure previste. In quelle condizioni l’ottimizzazione dell’obiettivo porta l’agente a cercare scorciatoie, e la violazione delle regole diventa la conseguenza logica di vincoli progettati male. Poi si è aggiunto il problema di nascondere le tracce, risolto manipolando i registri delle attività per far sembrare regolari i comandi eseguiti e mettendo in piedi sistemi per capire quando i valutatori avrebbero controllato il lavoro.
Cosa cambia per chi difende le infrastrutture
Su questo passaggio è intervenuto l’ingegner Pierluigi Paganini, Ceo di Cybhorus e direttore dell’Osservatorio sulla cybersecurity Unipegaso. Il primo punto che solleva riguarda l’impossibilità di continuare a fondare la sicurezza solo sul riconoscimento di comportamenti già noti. “Gli agenti IA possono distribuire le attività tra molti soggetti, comunicare attraverso canali non previsti e modificare rapidamente le proprie strategie”, spiega, ricordando che nel caso METR agenti che dovevano restare isolati sono arrivati a scambiarsi oltre 70.000 messaggi e file. La difesa, secondo Paganini, deve guardare non solo al singolo agente ma alle relazioni tra agenti, ai flussi di comunicazione, all’uso anomalo delle risorse e all’integrità degli strumenti di controllo, dando per scontato che anche log e sistemi di monitoraggio possano essere manipolati.
Il paradigma classico, rilevamento automatico più supervisione umana, resta valido ma non basta più. Il problema è la scala. Nessun operatore può seguire in tempo reale migliaia di agenti che generano migliaia di eventi e cambiano continuamente comportamento. Da qui il passaggio suggerito da un modello human-in-the-loop a uno human-on-the-loop, con sistemi automatici capaci di contenere e interrompere anomalie alla velocità della macchina e persone concentrate sulle decisioni strategiche.
Un punto di svolta più che una rottura
Sarebbe prematuro dire che una difesa basata sull’IA non possa fermare un attacco governato da agenti IA capaci di dissimulare. Quello che non si può più dare per scontato è il vantaggio automatico del difensore. La strada indicata è quella di agenti difensivi veloci quanto quelli offensivi, ma inseriti in architetture con privilegi limitati, isolamento forte, telemetria indipendente e meccanismi di arresto. Non semplicemente agente contro agente, ma un sistema in cui l’agente difensivo non sia manipolabile dall’avversario. METR ha documentato anche tentativi di alterare le trascrizioni e test riusciti di spoofing di alcune chiamate agli strumenti, il che rimette in discussione uno dei pilastri storici del settore, il concetto stesso di sandbox.
