Il chip stacking sta diventando una delle risposte più concrete al problema che sta mettendo in difficoltà l’intero settore dei semiconduttori, ovvero come gestire la mole di dati richiesta dall’AI generativa senza far esplodere consumi e costi. La corsa a chip sempre più grandi non basta più, e questo lo hanno capito un po’ tutti, dalle aziende ai laboratori universitari. Le architetture classiche fanno fatica a tenere insieme tre cose che spesso vanno in direzioni opposte, cioè prestazioni alte, energia contenuta e prezzi ragionevoli. Da qui l’interesse crescente verso l’integrazione tridimensionale, con il chip stacking che punta dritto a uno dei nodi più fastidiosi delle piattaforme attuali, il trasferimento dei dati tra memoria e unità di calcolo.
I modelli AI più recenti, quelli basati su reti neurali profonde e sui grandi modelli linguistici, devono macinare quantità di dati difficili anche solo da immaginare. Si parla di miliardi, a volte trilioni, di parametri che vengono letti, aggiornati e spostati di continuo tra memoria e processori. Le GPU hanno cambiato le regole del gioco con il calcolo parallelo, questo è fuori discussione, ma la memoria resta il vero collo di bottiglia. C’è un termine preciso per descrivere questa situazione, il memory wall. In pratica, nei sistemi AI più spinti, il tempo e l’energia spesi per muovere i dati possono superare quelli necessari al calcolo vero e proprio. Il risultato è che pure aumentando la potenza a dismisura, si rischia di sprecarla per colpa della comunicazione interna al chip.
Ed è proprio qui che il chip stacking tridimensionale entra in scena, accorciando la distanza fisica tra memoria e logica. Il principio è impilare più strati di silicio collegati da connessioni verticali, i cosiddetti Through-Silicon Via o TSV, che permettono scambi rapidi e ad altissima banda tra i vari livelli. Componenti che nei design tradizionali stanno lontani, in questo modo si avvicinano, con benefici sia sulla latenza sia sull’efficienza energetica. L’integrazione tra GPU e memoria HBM è già un esempio di questa filosofia, ma la ricerca guarda oltre, verso configurazioni in cui parte del calcolo avviene vicino o addirittura dentro la memoria. Il concetto di compute-in-memory è particolarmente interessante per l’AI, dove tantissime operazioni sono moltiplicazioni e somme su grandi matrici. Meno dati da spostare significa prestazioni migliori, soprattutto nelle applicazioni in tempo reale.
Le difficoltà di produzione e cosa aspettarsi
Il quadro non è tutto rose e fiori, perché fabbricare chip tridimensionali comporta ostacoli tecnici seri. Il primo è la gestione del calore. Più i componenti si affollano, più diventa complicato dissipare il calore, e la faccenda si fa spinosa negli strati interni, quelli più difficili da raffreddare. Poi ci sono le questioni legate all’allineamento preciso dei livelli e alla qualità delle connessioni verticali, dettagli che sembrano piccoli ma che fanno la differenza tra un chip che funziona e uno che no. Tecnologie come l’hybrid bonding, che unisce direttamente le superfici di silicio senza le classiche interconnessioni metalliche, si stanno imponendo come una delle soluzioni più promettenti per alzare affidabilità e prestazioni. Restano però due variabili sempre in agguato, la resa produttiva e i costi, che decidono se una tecnologia arriverà davvero su larga scala oppure no.
Guardando al medio periodo, il chip stacking è destinato a occupare un ruolo centrale nello sviluppo degli acceleratori AI. Avvicinare memoria e calcolo non serve solo a spingere le prestazioni verso l’alto, ma aiuta anche sul fronte dell’efficienza energetica, un tema che pesa sempre di più man mano che i modelli continuano a crescere di dimensioni.