L’intelligenza artificiale ha visto un’accelerazione senza precedenti. I modelli linguistici risultano sempre più grandi e addestrati su quantità esorbitanti di dati. Secondo un’idea condivisa, l’aumento del pre-addestramento porta a modelli migliori. Eppure, uno studio recente condotto da istituzioni accademiche di prestigio ha messo in dubbio tale principio. Introducendo il concetto di “sovra-addestramento catastrofico“. Il fenomeno evidenziato suggerisce che la capacità di un modello di intelligenza artificiale di adattarsi a compiti specifici diminuisce. Ciò una volta superata una certa soglia di pre-addestramento.
Intelligenza artificiale: l’efficienza cala con il troppo addestramento?
Gli scienziati hanno scoperto che, anche se l’esposizione a grandi volumi di dati aumenta le capacità del modello, essa può anche renderlo più rigido. E quindi meno adattabile alle successive fasi. Uno degli aspetti più critici di tale problematica riguarda la “sensibilità progressiva” dei modelli sovra-addestrati. Ciò porta a una sorta di “dimenticanza” delle informazioni apprese in precedenza. Ciò specialmente quando il modello di intelligenza artificiale viene sottoposto a variazioni minime durante la messa a punto. Così, mentre il modello inizialmente mostra prestazioni eccellenti su compiti generali, la sua efficacia si deteriora quando gli vengono assegnati compiti specifici.
Inoltre, gli scienziati hanno individuato un “punto di inflessione“. Un limite oltre il quale il miglioramento progressivo del modello non solo si arresta, ma inizia a peggiorare. Le implicazioni di tali scoperte sono importanti, soprattutto per le aziende che investono in modelli di linguaggio di grandi dimensioni. Piuttosto che puntare unicamente sull’aumento della scala dei dati, sarebbe più efficace ottimizzare il processo di addestramento. Ciò per massimizzare l’adattabilità del modello senza incorrere nel degrado delle prestazioni.
In un contesto in cui l’intelligenza artificiale è destinata a ricoprire un ruolo centrale, la scoperta del sovra-addestramento catastrofico rappresenta un punto di svolta. Quest’ultima suggerisce che l’equilibrio tra volume dei dati e ottimizzazione del modello è una sfida ancora aperta. Il futuro dell’intelligenza artificiale potrebbe non dipendere dalla semplice espansione delle reti neurali. Ma dall’abilità di perfezionarle in modo più mirato ed efficiente.
