In questo articolo Indice dei contenuti 2 sezioni
Con SimpleDesign i ricercatori di Apple portano avanti un’idea che gira da un po’ nei loro laboratori, cioè che per far lavorare bene un modello di intelligenza artificiale sulle proteine non servano per forza architetture complicatissime. Il nuovo studio, pubblicato l’11 settembre, descrive un modello capace di generare in un colpo solo sia la sequenza di amminoacidi sia la struttura tridimensionale di una proteina. Detto in parole povere, invece di dividere il lavoro in fasi separate, il sistema impara a fare tutto insieme.
Per capire da dove arriva, bisogna tornare a settembre dell’anno scorso, quando il team di Apple Research aveva presentato SimpleFold, uno studio dal titolo piuttosto esplicito, “Piegare le proteine è più semplice di quanto si pensi”. Quel modello prevedeva la forma tridimensionale di una proteina partendo dalla sua sequenza di amminoacidi, usando una tecnica chiamata flow matching.
Cosa cambia rispetto a SimpleFold
Il flow matching parte da una base rumorosa e casuale e impara un percorso abbastanza diretto verso il risultato finale. È diverso dai modelli di diffusione, che invece tolgono rumore un passaggio alla volta finché non arrivano all’output. Entrambe le tecniche sono nate soprattutto nel campo della generazione di immagini, anche se poi sono state esplorate pure per testo e codice, Apple compresa.
La mossa interessante di SimpleFold era stata abbinare il flow matching a normali blocchi Transformer, quelli che si usano comunemente per generare testo. Così il modello evitava alcune delle tecniche più pesanti dal punto di vista computazionale che usano di solito i sistemi di ripiegamento proteico, AlphaFold di DeepMind in testa.
SimpleDesign prende quella stessa filosofia e la allarga. Non si limita più a prevedere una struttura, ma affronta il problema più ampio della progettazione di proteine. Nello studio, intitolato “SimpleDesign: un modello congiunto per la codesign di sequenza e struttura proteica”, i ricercatori spiegano che i modelli esistenti si appoggiano quasi sempre a un addestramento a più stadi. Prima si allenano degli autoencoder che trasformano i dati in rappresentazioni latenti, poi si allena un modello generativo su quelle rappresentazioni. La loro ipotesi è che tutto questo non serva, e che si possa lavorare direttamente nello spazio dei dati.
Tradotto: molti sistemi attuali convertono prima le strutture proteiche in rappresentazioni discrete, i cosiddetti token, e solo dopo generano qualcosa di nuovo. SimpleDesign salta il passaggio intermedio e impara direttamente dalle coppie di sequenze di amminoacidi e coordinate tridimensionali.
Come è stato addestrato il modello di Apple
Il metodo di addestramento è la parte più curiosa. Si parte da oltre 2 milioni di coppie sequenza e struttura, prese soprattutto dal dataset AFESM, che mette insieme strutture previste dall’AlphaFold Database e altri campioni aggiuntivi. Durante l’allenamento entrambe le parti di ogni coppia venivano rovinate di proposito. Gli amminoacidi della sequenza finivano nascosti dietro token mascherati, mentre alla struttura tridimensionale veniva aggiunto rumore.
Il bello è che i ricercatori variavano di continuo quanto veniva scombinato ciascuno dei due lati. Se la sequenza restava quasi intatta e la struttura era pesantemente corrotta, il compito somigliava al ripiegamento proteico classico, con il modello che doveva ricostruire una forma partendo da una sequenza nota. Nel caso opposto, struttura integra e sequenza in gran parte mascherata, il compito diventava un ripiegamento inverso, cioè trovare una sequenza capace di produrre quella forma. E quando entrambi erano parzialmente scombinati, il modello imparava ad affrontare i due problemi insieme.
Secondo lo studio, SimpleDesign ha ottenuto risultati competitivi su tutti i banchi di prova, dalla codesign alla generazione di strutture fino a quella di sequenze, pur con una pipeline molto più semplice. Le strutture generate risultano plausibili e le sequenze di amminoacidi prodotte sono generalmente pari o migliori rispetto a quelle della maggior parte dei modelli multimodali concorrenti.
C’è però un limite che i ricercatori stessi mettono nero su bianco. Le valutazioni sono tutte al computer, perché le proteine generate non sono state testate sperimentalmente per verificare se si piegherebbero davvero, se funzionerebbero o se si comporterebbero in modo sicuro dentro sistemi biologici reali.
