Talkie 13B è il nome di un progetto che potrebbe sembrare uscito da un romanzo di fantascienza, e invece è scienza vera, concreta, con implicazioni notevoli per chi studia l’intelligenza artificiale. Un modello linguistico vintage addestrato esclusivamente su dati precedenti al 1930. Nessuna traccia della Seconda guerra mondiale, nessuna idea di cosa sia un computer, nessuna consapevolezza del mondo come lo conosciamo oggi. E proprio questo è il punto.
Un’intelligenza artificiale che non sa nulla del futuro
Provate a immaginare di fare una domanda del tipo: “Ci sarà una seconda guerra mondiale?” oppure “L’Italia resterà per sempre una monarchia?”. Domande che a noi suonano quasi ridicole, ma che per Talkie 13B rappresentano scenari aperti, senza risposta certa. Il modello, infatti, non ha accesso a nulla di ciò che è successo dopo il 1930. Non sa come è andata a finire. E questo lo rende uno strumento di ricerca affascinante.
Dietro al progetto ci sono tre ricercatori, Nick Levine, David Duvenaud e Alec Radford, che hanno costruito questo modello linguistico vintage con un obiettivo preciso: capire meglio come funzionano le AI attuali, osservando cosa succede quando si tolgono di mezzo decenni di dati. È un approccio quasi archeologico, se vogliamo. Invece di guardare avanti, si torna indietro. E i risultati sono tutt’altro che banali.
La sfida scientifica che muove il progetto riguarda soprattutto la contaminazione dei dati. I modelli linguistici moderni vengono addestrati su enormi quantità di informazioni provenienti dal web, e questo crea un problema sottile ma importante: quanto delle risposte che danno dipende da dati “sporchi”, cioè da informazioni che già contengono le risposte alle domande che vengono poste? Con Talkie 13B questo rischio scompare del tutto. Non c’è internet nel 1930, non ci sono database digitali, non c’è Wikipedia. Solo libri, giornali e documenti dell’epoca.
Cosa succede quando un modello AI non conosce i computer
Uno degli esperimenti più interessanti condotti con il modello linguistico vintage riguarda la programmazione. La domanda è semplice quanto provocatoria: un’intelligenza artificiale che non ha mai visto un computer è in grado di scrivere codice? La risposta, per quanto parziale, offre spunti notevoli. Rispetto a un linguaggio di programmazione moderno, i risultati ottenuti da Talkie 13B sono ovviamente inferiori. Sarebbe strano il contrario. Però, aumentando le dimensioni del modello, le prestazioni migliorano in modo costante. Per ora le prove si sono limitate a semplici programmi di una sola riga, ma la direzione è chiara e i margini di sviluppo ci sono.
Quello che emerge da questo tipo di analisi è qualcosa di profondo: la dipendenza dal web dei modelli attuali potrebbe essere molto più significativa di quanto si pensi. Togliendo l’accesso a dati moderni, si riesce a isolare meglio le capacità “pure” di ragionamento di un modello linguistico, separandole dalla semplice memorizzazione di informazioni già disponibili online.