Con i suoi Grace standalone server Nvidia ha spedito numeri che parlano da soli, e a dirlo è Ian Buck, vicepresidente dell’area hyperscale e high performance computing nonché inventore di CUDA. Le parole sono queste: la società ha consegnato Grace standalone server in una quantità che si misura ormai in centinaia di migliaia di unità. A maggio l’azienda aveva già dichiarato di aver spedito oltre 2,5 milioni di CPU Grace in totale, e a febbraio era arrivato l’accordo con Meta per l’utilizzo proprio di questi server in versione autonoma. I commenti di Buck lasciano intuire che la portata reale possa essere anche più ampia, mentre Nvidia prova a farsi spazio in un mercato dominato da altri protagonisti.
Un’osservazione interessante, per quanto tutto sommato prevedibile. Nvidia è diventata la forza trainante della Silicon Valley grazie a una domanda di GPU esplosa durante una costruzione senza precedenti di data center dedicati all’inferenza per l’intelligenza artificiale. Dal picco raggiunto all’inizio dell’anno, però, circa mille miliardi di dollari di capitalizzazione se ne sono andati, con gli investitori che hanno spostato le loro attenzioni verso produttori di CPU come Intel. I carichi di lavoro dell’AI agentica, in continua evoluzione, hanno cambiato gli equilibri hardware, allontanandosi da un rapporto che arrivava a otto GPU per una CPU per avvicinarsi, in alcuni casi, a un rapporto uno a uno.
La CPU Vera e la scommessa sul design monolitico
Su quel treno Nvidia vuole salire con la nuova CPU Vera, progettata proprio per questo tipo di lavori. Ma già prima dell’ascesa degli agenti, dice l’azienda, la richiesta per le sue CPU nei carichi affamati di dati c’era eccome. “Non stavano facendo girare un server web con Grace, e non venivano usate per quello che il cloud usa, cioè il basso costo per core” ha spiegato Buck. “Venivano impiegate per operazioni di backend ricche di dati, come l’elaborazione dei dati stessi”.
Grace è stato la rampa d’ingresso di Nvidia nel mondo delle CPU per data center. Monta 72 core Arm Neoverse V2 di serie, ma si distingue per la Scalable Coherency Fabric sviluppata dall’azienda. Vera usa una versione aggiornata di quella fabric e aggiunge il primo core custom firmato Nvidia, chiamato Olympus. Se Grace ha socchiuso la porta, Vera rappresenta l’ingresso vero e proprio nel mercato, in diretta concorrenza con AMD e Intel.
Al di là di dove finirà Vera nella battaglia tra le CPU di nuova generazione, scontro che si sta accendendo proprio ora con AMD attesa al lancio dei suoi chip Zen 6 Venice questa settimana, il progetto è profondamente diverso da quanto visto finora. Vera è monolitica, con tutti i suoi 88 core su un unico pezzo di silicio. AMD e Intel, ormai da anni, hanno abbandonato i die monolitici a favore dei chiplet, che permettono densità di core elevatissime al prezzo di qualche problema di latenza e coerenza.
“Uno dei motivi per cui non abbiamo 128 core è che abbiamo dedicato così tanta area del die alla fabric” ha detto Buck. Si parla di 3,4 TB/s di banda interna alla CPU, pensata per far dialogare ogni core con ogni cache e ogni controller di memoria alla massima velocità e senza collisioni. La banda di memoria aggregata arriva fino a 1,2 TB/s attraverso l’interfaccia LPDDR5X, pari a 14 GB/s per core.
Un mercato da centinaia di miliardi
Come i design basati su chiplet, anche Vera dovrà fare i conti con qualche compromesso legato alla sua architettura particolare. La maggior parte dei carichi nei data center resta ancora di tipo legacy, quello per cui gli hyperscaler hanno costruito le proprie infrastrutture, e nonostante la domanda apparentemente insaziabile di infrastrutture per l’intelligenza artificiale le cose difficilmente cambieranno nel giro di pochi anni.
Buck riconosce il compromesso e rilancia con una domanda: “Intel e gli altri possono costruire fabric altrettanto ricche? Hanno la proprietà intellettuale e l’ecosistema per farlo e collegare tutto fino alla memoria LP? Devono dircelo, ma quel compromesso arriverà a scapito del carico legacy”. A marzo, durante il GTC, era stato ancora più netto: “Il mondo non sarà servito da un unico modello di CPU, e non è questa la nostra intenzione”.
Le ambizioni di Nvidia sulle CPU per data center vanno oltre i titoli che rimbalzano dalla borsa di New York. L’azienda stima un mercato potenziale complessivo da 200 miliardi di dollari, previsione piuttosto ottimista rispetto al resto del settore, che vede una cifra intorno ai 120 miliardi entro il 2030, con stime recenti salite fino a 170 miliardi. E l’AI agentica sta allargando ulteriormente questo spazio, con proiezioni che parlano di un possibile contributo di 60 miliardi al mercato delle CPU per data center.
Vera è già in piena produzione insieme all’infrastruttura AI di nuova generazione di Nvidia, dalle GPU Rubin alle schede di rete ConnectX-9, fino agli switch Ethernet SpectrumX e ai componenti che compongono un rack Vera Rubin NVL72. L’azienda parla di circa 1,3 milioni di componenti per ogni rack e di una lista di oltre 300 partner in tutto il mondo per costruirli. Durante una visita al quartier generale di Nvidia della scorsa settimana è stato possibile vedere un rack Vera Rubin NVL72 in azione, impegnato a far girare carichi di lavoro per OpenAI.