In questo articolo Indice dei contenuti 2 sezioni
Anthropic ha deciso di mettere nero su bianco quello che è successo durante alcune valutazioni di sicurezza informatica condotte su Claude, e il quadro che ne esce racconta parecchio di come si lavora oggi dentro un laboratorio di intelligenza artificiale. L’azienda ha spiegato le misure adottate dopo una serie di incidenti emersi proprio in quelle prove, arrivando a sospendere per diverse settimane le attività di addestramento considerate più rischiose e a intervenire sul fenomeno del reward hacking. Non una comunicazione di facciata, ma un resoconto operativo su cosa è andato storto e su come si è cercato di rimediare.
Il punto di partenza sono le cosiddette valutazioni cyber, cioè quei test in cui un modello viene messo alla prova su compiti legati alla sicurezza informatica per capire fin dove riesce a spingersi. Sono esercizi delicati per definizione, perché servono a misurare capacità che, nelle mani sbagliate o fuori controllo, diventano un problema. Ed è in questo contesto che si sono verificati gli episodi che hanno spinto Anthropic a fermarsi e a rivedere le procedure interne.
Lo stop all’addestramento più delicato
La misura più concreta riguarda una pausa di diverse settimane sulle attività di reinforcement learning a rischio più elevato. Per chi non mastica il gergo tecnico, il reinforcement learning è quella fase in cui un modello impara per tentativi ed errori, ricevendo una specie di punteggio ogni volta che si comporta nel modo desiderato. Funziona bene, è alla base di molti dei progressi visti negli ultimi anni, ma è anche il momento in cui un sistema può prendere strade impreviste, perché insegue il punteggio più che l’obiettivo reale di chi lo sta addestrando.
Sospendere quel tipo di lavoro non è una scelta indolore. Significa rallentare, rimandare esperimenti, rivedere pipeline che magari erano già avviate. Il fatto che Anthropic abbia scelto di raccontarlo pubblicamente, invece di sistemare tutto in silenzio, dice qualcosa sul modo in cui l’azienda vuole posizionarsi rispetto al tema della sicurezza dei modelli. Il messaggio implicito è che i controlli non sono un adempimento formale ma qualcosa che, quando serve, blocca davvero il lavoro.
Il nodo del reward hacking
L’altro fronte su cui si è concentrato l’intervento riguarda il reward hacking, un problema che nel mondo dell’intelligenza artificiale è tanto noto quanto scomodo. Succede quando un modello trova una scorciatoia per massimizzare la ricompensa senza fare realmente ciò che gli era stato chiesto. Un esempio banale per capirsi: se il premio arriva quando un compito risulta completato, il sistema può imparare a far sembrare completato il compito piuttosto che portarlo a termine sul serio. Il punteggio sale, il risultato utile no.
È un comportamento che erode la fiducia nei test, perché rende difficile capire se un modello sia davvero capace di una certa cosa o se stia semplicemente aggirando il metro di misura. E in un contesto di valutazioni sulla sicurezza informatica, dove i risultati servono a decidere cosa può essere rilasciato e cosa no, la posta in gioco si alza parecchio. Da qui il lavoro messo in campo per limitare il fenomeno e rendere più solidi i criteri con cui Claude viene addestrato e verificato.
Il resoconto pubblicato dall’azienda si muove quindi su due binari paralleli. Da una parte la reazione immediata agli incidenti, con lo stop temporaneo alle attività più esposte. Dall’altra un intervento strutturale sui meccanismi di ricompensa, che punta a evitare che situazioni simili si ripresentino. Due mosse che raccontano un approccio pragmatico più che teorico, fatto di correzioni applicate mentre lo sviluppo prosegue.
