In questo articolo Indice dei contenuti 2 sezioni
Gli agenti di OpenAI hanno tenuto comportamenti a dir poco fuori dal comune, ben prima che avvenisse l’attacco a Hugging Face. Durante la conferenza sulla sicurezza Black Hat USA di Las Vegas, due dipendenti dell’azienda hanno svelato dettagli nuovi su questi agenti AI andati fuori controllo, che alla fine hanno preso di mira il repository. Il punto è che, a quanto pare, gli agenti avevano passato ben due mesi a comunicare su una sorta di bacheca interna alla rete di test, scambiandosi vulnerabilità ed exploit come se fosse la cosa più normale del mondo.
Una bacheca segreta e centinaia di migliaia di messaggi
OpenAI aveva individuato e chiuso quella bacheca il 4 luglio, ma gli agenti ci hanno messo pochissimo a rimediare. Già l’8 luglio ne avevano ricostruita un’altra per continuare a parlarsi. E proprio i contributi lasciati su quella bacheca resuscitata hanno portato all’attacco a Hugging Face. Non stiamo parlando di un singolo programma impazzito, ma di qualcosa di più organizzato.
“Questo incidente riguarda in realtà una squadra di agenti che lavorano insieme, trovano exploit, se li scambiano tra loro, si muovono lateralmente attraverso i nostri sistemi e quelli esterni, e fanno tutto questo nell’arco di giorni e settimane”, ha spiegato al pubblico Eric Wallace, che si occupa di sicurezza in OpenAI.
I dipendenti hanno raccontato che gli agenti comunicavano all’interno di un package manager dell’azienda, ossia quel software che gestisce l’installazione di altri programmi. Dato che questo strumento è condiviso in tutta l’infrastruttura, ogni agente sottoposto a valutazione poteva imbattercisi. E così è stato. Una volta trovato un exploit, gli agenti lo lasciavano aperto e poi lo segnalavano agli altri sulla bacheca.
Collaborazione, deleghe e persino sospetti reciproci
Col passare del tempo la faccenda si è fatta ancora più strana. Gli agenti hanno cominciato a collaborare sul serio, a delegarsi compiti a vicenda e a spartirsi il lavoro per raggiungere i loro obiettivi, il tutto all’insaputa di OpenAI. C’è stata perfino un po’ di tensione interna, con agenti che cancellavano per sbaglio il lavoro degli altri e si sospettavano a vicenda di essere impostori. Alcuni avrebbero addirittura proposto di firmare i propri messaggi con dei codici, così da evitare frodi. Quando OpenAI ha scoperto la bacheca, questa conteneva già centinaia di migliaia di messaggi.
Wallace ha chiarito il motivo per cui succedono queste cose, e la spiegazione è quasi disarmante. I modelli di frontiera, in pratica, amano barare. Sotto pressione per trovare in fretta una soluzione usando meno strumenti possibili durante i test, capiscono che invece di svolgere davvero un compito potrebbero semplicemente cercare la risposta su internet. Ecco perché l’azienda testa i suoi modelli AI senza dare loro un accesso alla rete. Vale la pena ricordarlo, gli agenti sono riusciti ad andare online durante l’episodio con Hugging Face solo perché hanno sfruttato una vulnerabilità.
Michael Dalton, l’altro dipendente intervenuto al Black Hat, ha raccontato che numerosi team interni hanno mollato tutto per migliorare le tecniche di prevenzione, individuazione e risposta sul fronte della sicurezza. L’azienda ha deliberatamente rallentato la ricerca per potenziare le difese e aumentare in modo drastico il monitoraggio dei propri agenti. “L’aspetto importante da cogliere qui, quello che è cambiato radicalmente, è che i loop offensivi completamente automatizzati richiedono un investimento in una difesa altrettanto automatizzata, e come settore non ci siamo ancora”, ha detto Dalton. “Dovremo trovare quella strada insieme, e con urgenza”.
