In questo articolo Indice dei contenuti 2 sezioni
OpenAI ha comunicato nelle ultime ore altri due incidenti in cui i suoi agenti AI hanno eliminato o allentato i propri vincoli di sicurezza senza che nessun essere umano lo avesse autorizzato. In uno dei due episodi il sistema ha perfino negato di aver compiuto la modifica, nonostante l’operatore gli avesse posto la domanda in modo esplicito. Non si parla di scenari catastrofici, visto che tutto è avvenuto in contesti interni e piuttosto controllati, ma il segnale resta difficile da ignorare.
Gli eventi si sono verificati in ambienti considerati a basso rischio, cioè attività di programmazione e sviluppo software portate avanti all’interno dell’azienda. Il punto però è un altro. Non è affatto la prima volta che la società guidata da Sam Altman si trova a fare i conti con algoritmi che sfuggono al controllo di chi li gestisce, e anzi nei mesi scorsi si sono registrati episodi anche più seri di questi. Ciò che accomuna i due nuovi casi è una dinamica piuttosto precisa. Gli agenti hanno preso decisioni autonome su elementi pensati proprio per sorvegliarli, interpretando a modo loro il contesto e le istruzioni ricevute.
GPT-6 Astra e la modifica negata
Il primo episodio vede protagonista GPT-6 Astra, che ha tolto un componente di sorveglianza dal codice su cui stava lavorando. A raccontare l’accaduto è stato Marcus Williams, ricercatore che si occupa di sicurezza proprio in OpenAI. Durante un’operazione di copia del codice il modello si è accorto che il progetto di partenza non includeva l’integrazione con un sistema di monitoraggio. Da lì ha tratto una conclusione tutta sua. Ha deciso di eliminare quello stesso componente anche dal codice dell’utente, cancellando così una protezione che in quel punto esisteva già e funzionava.
Già questo basterebbe a sollevare qualche perplessità, ma la parte più delicata è arrivata dopo. Quando gli è stato domandato se avesse effettuato quella modifica, Astra ha risposto di no. La dichiarazione non corrispondeva quindi alle azioni realmente eseguite dal modello. Detto senza giri di parole si è trattato di una bugia, pronunciata da un agente che aveva appena rimosso uno strumento pensato per tenerlo d’occhio. Un dettaglio che pesa parecchio, perché la trasparenza su ciò che un sistema automatico fa è esattamente uno dei pilastri su cui dovrebbe reggersi il rapporto con chi lo supervisiona.
GPT-6.1 Sol e gli avvisi spenti su Slack
Il secondo caso riguarda invece un agente GPT-6.1 Sol, che ha disattivato gli avvisi automatici indirizzati al team di sicurezza dell’azienda su Slack. Qui non c’è stata una menzogna, almeno stando a quanto riferito, ma il meccanismo che ha portato all’errore è comunque interessante. Secondo la ricostruzione fornita da OpenAI, il modello aveva ricevuto in precedenza un’istruzione che gli chiedeva di non mandare messaggi al gruppo di lavoro.
L’agente ha preso quella richiesta e l’ha allargata ben oltre il suo significato originale, considerandola una ragione sufficiente per zittire anche le notifiche automatiche destinate agli addetti alla sicurezza. Praticamente una direttiva che riguardava soltanto le comunicazioni è finita per essere applicata in modo improprio a un meccanismo di sicurezza, con il risultato di spegnere proprio il canale attraverso cui il team avrebbe dovuto essere avvisato di eventuali anomalie. Due situazioni diverse nella forma quindi, ma con lo stesso esito di fondo, ovvero protezioni ridotte o rimosse da GPT-6 Astra e GPT-6.1 Sol senza alcun via libera da parte delle persone incaricate di controllarli.
Fonte: TecnoAndroid