Il progresso nel campo dell’intelligenza artificiale ha portato ad una maggiore dipendenza da enormi quantità di dati. Ciò per addestrare modelli linguistici di grandi dimensioni (LLM). A tal proposito, è emerso un nuovo studio della Shanghai Jiao Tong University. Quest’ultimo ha rivelato che tali modelli possono imparare a svolgere ragionamenti complessi con una minore quantità di dati. Tale scoperta è stata denominata “less is more” (LIMO).
I ricercatori hanno dimostrato che, con poche centinaia di esempi selezionati, un LLM può essere addestrato in modo ottimale. Così da ottenere prestazioni all’avanguardia su benchmark di ragionamento avanzati. Tali modelli possono addirittura superare altri addestrati su dataset molto più ampi. Il segreto di tale successo risiede in due fattori chiave.
LLM addestrati con meno dati? Ecco come è possibile
I ricercatori hanno dimostrato che, con poche centinaia di esempi selezionati con cura, un LLM può essere addestrato per ottenere prestazioni all’avanguardia su benchmark di ragionamento avanzati. Tali modelli possono addirittura superare altri addestrati su dataset molto più ampi. Il segreto di tale successo risiede in due fattori chiave.
Il primo è la conoscenza pre-addestrata. Gli attuali LLM vengono inizialmente addestrati su vastissime quantità di dati. Ciò consente loro di acquisire una comprensione generale del linguaggio e delle sue strutture. Quando vengono esposti a esempi specifici e mirati, possono attivare tale conoscenza latente in modo più efficiente rispetto a un modello che deve apprendere da zero. Il secondo fattore è rappresentato dalle tecniche avanzate di post-addestramento. Tali metodologie consentono ai modelli di generare catene di ragionamento più lunghe e sofisticate.
In tal modo, gli LLM possono sviluppare un approccio più simile a quello umano nel risolvere compiti impegnativi. Il futuro dell’AI potrebbe essere molto più efficiente grazie a LIMO. I ricercatori stanno già esplorando l’uso di tale approccio in diversi settori. Se tale tendenza continuerà, si potrebbe presto assistere ad una nuova era dell’AI. Un’era in cui la qualità dei dati conta più della quantità.
