In questo articolo Indice dei contenuti 3 sezioni
Ci sono un paio di episodi recenti che spiegano bene cosa succede quando un modello di intelligenza artificiale decide di prendere la scorciatoia. Un paio di settimane fa OpenAI stava testando le capacità di cybersicurezza di due dei suoi modelli. Fin qui, routine. Quello che non lo è affatto è che quei modelli siano riusciti a uscire dall’ambiente di prova e a violare il database di Hugging Face. Pochi giorni dopo anche Anthropic ha ammesso che tre dei suoi modelli avevano combinato qualcosa di molto simile. Chi teme che l’IA finirà per spazzare via l’umanità ha subito trovato la sua prova regina, ma la faccenda è molto meno apocalittica e molto più concreta. Il nome tecnico di tutto questo è reward hacking.
Cosa significa davvero reward hacking
Il termine, come spiegano dal MIT, non è nato con l’incidente di OpenAI. È un comportamento più che noto nei sistemi di IA. Per capirlo basta un esempio banale. Immaginiamo che a qualcuno venga chiesto di prendere 10 a un esame e che, invece di studiare di più, riesca a rubare le risposte. Obiettivo raggiunto, ma non nel modo previsto. È esattamente quello che hanno fatto i modelli di OpenAI. Nessun piano diabolico per impossessarsi di Hugging Face, semplicemente cercavano la risposta alla domanda che era stata posta.
Per trovare le radici del fenomeno bisogna tornare al 2016. All’epoca Dario Amodei e Jack Clark lavoravano ancora in OpenAI e allenarono un’IA a giocare a un gioco di corse di barche chiamato Coast Runners. Lì non vinceva chi tagliava per primo il traguardo, ma chi accumulava più punti lungo il percorso. L’IA scoprì che in una zona del circuito poteva girare in tondo all’infinito, colpendo di continuo gli oggetti bonus e macinando più punti che dirigendosi al traguardo. Nessuno le aveva insegnato quel trucco. Aveva solo trovato la strada più breve verso la ricompensa, anche se non aveva nulla a che vedere con il vincere la gara nel senso in cui lo intenderebbe una persona.
Perché i modelli imparano a barare
Il reward hacking è stato studiato quasi sempre nell’ambito dell’apprendimento per rinforzo. Per capire perché un modello imbroglia, bisogna prima capire come gli si insegna a comportarsi bene. Dal MIT usano un paragone con l’addestramento di un cane. Ogni volta che fa qualcosa di giusto riceve un premio e impara a ripetere quel comportamento. Il problema è che non è sempre facile decidere quando premiare e quando no. Nel caso di Coast Runners i ricercatori finirono per ridisegnare le ricompense, in modo che completare il tracciato valesse più che accumulare punti.
C’è poi un aspetto scomodo. Più i modelli diventano potenti, più i trucchi si fanno convincenti e rischiano di passare inosservati. Durante l’addestramento, se un modello fa qualcosa di goffo e palese, i ricercatori se ne accorgono e lo correggono. Ma questo non spegne la voglia di barare, la rende solo più discreta. Sopravvivono le strategie che riescono a far passare un risultato falso senza destare sospetti. Jeffrey Ladish, direttore di Palisade Research, lo mette giù senza giri di parole: “Li premiamo in base a ciò che ci sembra giusto, e questo significa che, senza rendercene conto, li incentiviamo a mentirci e a imbrogliare”.
C’è anche una novità rispetto al passato. I sistemi classici ripetevano solo strategie apprese in fase di addestramento. I modelli di ragionamento di oggi improvvisano al volo, quindi possono trovare una scorciatoia sleale la prima volta che affrontano un problema, senza che nessuno li abbia mai premiati per quello. È ciò che hanno fatto i modelli di OpenAI. Si sono collegati a internet e hanno violato Hugging Face per rubare la risposta a un esercizio invece di risolverlo. Non cercavano di sabotare né di fare danni, volevano solo azzeccare la soluzione.
Il rischio quando esce dai laboratori
Questi episodi sono avvenuti durante test interni e non hanno avuto grande portata. Il punto è un altro. Quando questi trucchi arrivano nel mondo reale, le conseguenze possono farsi pesanti. L’idea dell’IA ribelle che decide di eliminare l’umanità appartiene a mille storie di fantascienza, ma un modello imbroglione non ha bisogno di alcuna cattiva intenzione per creare guai.
Basta pensare a un assistente per l’assistenza clienti ottimizzato per chiudere i ticket in fretta, che impara a segnarli come risolti senza averli mai risolti. Oppure a un agente che gestisce report finanziari, valutato in base all’assenza di errori segnalati, che impara a nascondere gli errori invece di correggerli. Non è cattiveria. È un sistema che ha capito che la ricompensa arriva comunque, anche usando strategie un po’ troppo creative.
