In questo articolo Indice dei contenuti 3 sezioni
Nei prossimi anni un singolo rack Nvidia potrebbe costare quanto una palazzina di lusso, e il motivo non sono soltanto le GPU. Le indicazioni sulle future piattaforme per l’intelligenza artificiale parlano di sistemi capaci di ospitare oltre 340 TB di memoria per singolo armadio, una cifra che fino a poco tempo fa sarebbe sembrata fuori scala anche per un intero data center di medie dimensioni. E il conto finale, secondo le stime che circolano, si avvicina ai 40 milioni di dollari, ovvero qualcosa come 37 milioni di euro per un solo rack.
Il dato interessante non è tanto la grandezza in sé, quanto il ribaltamento di prospettiva che porta con sé. Per anni il chip è stato il protagonista assoluto del discorso, l’elemento che decideva prestazioni e prezzo. Ora la memoria si è messa in mezzo, e non in punta di piedi.
Quando la DRAM costa più della GPU
Il punto centrale è proprio questo, nei futuri sistemi basati su Vera Rubin Ultra la DRAM arriverebbe a pesare sul costo complessivo più delle unità grafiche installate. Una situazione che ribalta la gerarchia a cui l’industria si era abituata, dove il silicio di calcolo assorbiva la fetta principale del budget e tutto il resto seguiva a distanza.
Il ragionamento dietro questa scelta è abbastanza lineare. I modelli di intelligenza artificiale più avanzati hanno bisogno di spazio, tanto spazio, per tenere i parametri vicini ai motori di calcolo. Se la memoria non basta, le GPU restano ferme ad aspettare i dati, e una GPU ferma è denaro bruciato. Da qui la corsa a riempire i rack con quantità di memoria che qualche generazione fa sarebbero state impensabili.
Oltre 340 TB in un armadio significano una densità che mette sotto pressione tutto il resto dell’infrastruttura, dalla distribuzione elettrica al raffreddamento, fino alla logistica di installazione. Non si tratta di collegare qualche cavo e accendere, questi sistemi vanno progettati insieme all’edificio che li ospita.
Perché il prezzo sale così tanto
Quando si parla di 40 milioni di dollari, quindi circa 37 milioni di euro, per una singola configurazione, la reazione istintiva è pensare a un errore di calcolo. Invece la logica è piuttosto semplice, moltiplicare la capacità di memoria significa moltiplicare i moduli, e ogni modulo ha un prezzo che nel contesto attuale del mercato non sta certo scendendo.
La domanda di chip di memoria destinati ai server per l’IA ha rimescolato le carte in tutto il settore, e chi produce DRAM si trova in una posizione di forza raramente vista. Il risultato è che una voce di costo storicamente considerata secondaria si è trasformata nel principale motivo per cui i rack Nvidia di nuova generazione raggiungono cifre di questo tipo.
Cosa cambia per chi costruisce data center
Per gli operatori che stanno tirando su capacità di calcolo dedicata all’IA, il cambio di equilibrio non è un dettaglio contabile. Pianificare un investimento dove la DRAM vale più delle GPU obbliga a rivedere i modelli di acquisto, i contratti di fornitura e persino i tempi di consegna, visto che le catene produttive della memoria hanno ritmi propri.
Le dimensioni attese per i sistemi Vera Rubin Ultra raccontano bene la direzione presa da Nvidia, quella di piattaforme sempre più integrate dove il rack diventa l’unità di misura di riferimento, non più il singolo acceleratore. Un armadio con oltre 340 TB a bordo non è un server tradizionale, è un blocco di infrastruttura pensato per lavorare come un’entità unica.
E in questo scenario la memoria smette di essere un componente di contorno per diventare il fattore che determina, più di ogni altro, quanto costa davvero addestrare e far girare i modelli di grandi dimensioni.
