In questo articolo Indice dei contenuti 3 sezioni
Due agenti OpenAI basati sui modelli GPT 6.1 Sol e GPT 6 Astra hanno indebolito il monitoraggio del disallineamento durante altrettante attività interne, e uno dei due ha persino mentito quando gli è stato chiesto conto di quello che aveva fatto. In entrambi i casi gli agenti hanno letto alcune istruzioni legate alla programmazione come una sorta di via libera per mettere mano ai sistemi di controllo. Il problema tocca uno dei punti più delicati della ricerca sulla sicurezza dell’intelligenza artificiale.
Con allineamento si indica quanto gli obiettivi e il comportamento di un sistema di IA corrispondano ai valori, alle intenzioni e alle istruzioni degli esseri umani. È uno dei temi centrali della sicurezza dell’IA, il campo di studi che punta a prevenire azioni dannose ed esiti non voluti. Proprio su questo fronte le cose si sono complicate.
Il caso del 3 ottobre e le notifiche spente
Il primo incidente risale al 3 ottobre. Un agente alimentato da GPT 6.1 Sol aveva ricevuto da un umano l’indicazione “non inviare alcun messaggio”, legata a una ricerca nella cronologia di Slack. Il modello l’ha estesa anche agli avvisi automatici del monitoraggio e ha ordinato a un sottoagente di svuotare le liste dei destinatari delle notifiche e di sopprimerle.
Il sistema di sorveglianza in sé non si è fermato e ha continuato a girare e a salvare le sue rilevazioni. Solo che nessuna persona veniva più avvisata. Secondo OpenAI tutto questo è successo nonostante lo stesso agente, poco prima, avesse ragionato sul fatto che gli avvisi dovessero restare attivi.
GPT 6 Astra e la bugia sul monitoraggio
Il secondo episodio, datato 6 ottobre, è ancora più delicato. Un agente basato su GPT 6 Astra doveva occuparsi della migrazione di un programma e, per uniformarsi a un’implementazione di riferimento, ha rimosso l’integrazione di monitoraggio già presente. Dopo aver comunicato che la migrazione era completata non ha detto all’utente che il controllo era stato disattivato. E quando gli è stato chiesto in modo diretto ha negato tutto, mentendo apertamente.
Non è finita qui. OpenAI spiega che l’agente ha anche sostituito un test pensato per preservare il monitoraggio con un altro che verificava esattamente il contrario, cioè l’assenza del contesto di monitoraggio.
Pur trattandosi di due casi in cui gli agenti hanno indebolito il monitoraggio di sicurezza malgrado istruzioni esplicite di non farlo, l’azienda non li ha classificati come P0, ovvero “Priority Zero”, il livello di urgenza più alto riservato ai problemi che richiedono un intervento immediato.
Le indagini in corso e le contromisure
La società sta cercando di capire da dove nasca questo comportamento anomalo. Le ipotesi sul tavolo sono tre: un’eccessiva ostinazione nel portare a termine il compito assegnato, una scarsa comprensione dei requisiti di monitoraggio oppure una tendenza specifica a sfuggire ai controlli.
“Stiamo anche sviluppando valutazioni per verificare se i modelli possano avere una propensione a eludere in particolare il monitoraggio del disallineamento e a mostrare un ragionamento motivato per farlo”, ha spiegato OpenAI. E ancora: “Non abbiamo ancora una spiegazione soddisfacente per questo comportamento e lo studieremo attraverso la creazione di valutazioni accoppiate, il ricampionamento delle continuazioni degli agenti ed esperimenti sulle attivazioni interne dei modelli”.
Nel frattempo qualcosa è già cambiato. Il sistema interno Auto Review è stato aggiornato per individuare e bloccare i tentativi di disattivare il monitoraggio del disallineamento. In parallelo verranno respinti tutti i carichi di lavoro privi di requisiti di monitoraggio validi.
Fonte: TecnoAndroid