In questo articolo Indice dei contenuti 2 sezioni
Il sonno applicato all’intelligenza artificiale non è più soltanto un’immagine suggestiva da conferenza, ma una pista di ricerca vera, seguita da laboratori universitari e da aziende che sui modelli hanno costruito il proprio business. Il punto di partenza è un limite noto a chiunque lavori con questi sistemi: la memoria. Le macchine imparano, sì, ma imparano male quando devono aggiungere qualcosa a ciò che già sapevano. E allora l’idea è quella di dare loro qualcosa che somigli a una pausa notturna, un momento in cui le informazioni vengono riorganizzate invece di accumularsi alla cieca. Chi studia il cervello umano lo sa da tempo. Durante il riposo non accade nulla di passivo, al contrario: le esperienze della giornata vengono ripassate, alcune rafforzate, altre lasciate scivolare via. È un lavoro di selezione, non di archiviazione. La ricerca sull’AI ha cominciato a guardare a questo meccanismo con un interesse molto pratico, perché il problema che deve risolvere è quasi speculare.
L’oblio catastrofico, ovvero quando imparare significa dimenticare
Il termine tecnico è oblio catastrofico e descrive una situazione che a raccontarla sembra assurda. Un modello viene addestrato su un compito, funziona bene, poi gli si insegna qualcosa di nuovo. Risultato: quello che sapeva prima si degrada, a volte scompare del tutto. Non c’è cattiva volontà, è semplicemente il modo in cui questi sistemi aggiornano i propri parametri interni. Ogni nuova informazione sovrascrive porzioni di quanto era stato appreso in precedenza.
La conseguenza è pesante anche in termini economici. Se un sistema non può integrare conoscenza nuova senza perdere quella vecchia, l’unica strada resta il riaddestramento completo. Ripartire da zero, ogni volta. Con i modelli linguistici di grandi dimensioni questo significa costi enormi, tempi lunghi e un consumo di risorse difficile da giustificare quando l’aggiornamento riguarda dettagli marginali. Un essere umano non ha bisogno di rinascere per imparare un nuovo mestiere. Le macchine, per ora, un po’ sì.
Consolidare, scegliere, cancellare
Da qui nasce il filone di studi che prova a costruire una sorta di ciclo di riposo artificiale. Le direzioni sono tre e vale la pena distinguerle. La prima riguarda il consolidamento: rendere stabile ciò che è stato appreso, proteggerlo dalle sovrascritture successive, come se certe conoscenze venissero messe in una zona più solida della memoria. La seconda è la selezione, cioè la capacità di stabilire quali informazioni meritano di essere trattenute e quali invece rappresentano rumore.
La terza è la più interessante, e forse la più controintuitiva: la cancellazione. Dimenticare in modo controllato non è un difetto, è una funzione. Un sistema che conserva tutto diventa ingestibile, lento, contraddittorio. Saper eliminare l’informazione superflua o superata è parte del processo di apprendimento, non un suo fallimento. Anche nel cervello umano funziona così, e la ricerca sta cercando di replicare quella logica dentro architetture che nascono con presupposti molto diversi.
L’obiettivo finale, dichiarato da più parti, è arrivare a modelli capaci di apprendere in modo continuo. Sistemi che aggiungono competenze senza distruggere le precedenti, che si aggiornano con la gradualità di chi accumula esperienza. Il sonno delle macchine, in questo senso, è una metafora che sta diventando concreta: descrive una fase di elaborazione interna in cui il modello non risponde a nessuno, non produce output, lavora su se stesso. E su questa fase, oggi, si concentrano parecchie delle energie di chi sviluppa intelligenza artificiale.
