In questo articolo Indice dei contenuti 2 sezioni
La memoria NVHBM è la carta che NVIDIA ha deciso di giocare per togliersi di dosso uno dei colli di bottiglia più fastidiosi dell’intelligenza artificiale, ovvero la banda passante. Si tratta di una soluzione HBM personalizzata, sviluppata dall’azienda e destinata alle GPU dei prossimi anni, che promette oltre il 30% di banda in più e il 15% di consumi in meno rispetto allo standard HBM4E. Numeri che, moltiplicati per migliaia di acceleratori dentro un data center, cambiano parecchio le carte in tavola.
Il punto di partenza è semplice da spiegare anche senza laurea in ingegneria. Nei sistemi attuali il controller di memoria vive dentro l’XPU, cioè il chip di calcolo vero e proprio. NVHBM lo sposta altrove, direttamente nel base die dello stack di memoria. Una mossa che libera spazio prezioso sul silicio principale e accorcia il percorso dei dati.
Come funziona lo spostamento del controller di memoria
Togliere il controller dall’XPU significa recuperare fino al 25% di area del die, spazio che può essere riconvertito in unità di calcolo aggiuntive. Rispetto allo standard JEDEC HBM4e, questo approccio riduce fino al 67% l’area occupata dal PHY e dalla logica di supporto. L’interfaccia diventa più stretta, il routing sull’interposer si semplifica e alla fine il conto porta fino all’80% di silicio utilizzabile in più sull’intero layout.
Non è un’idea nata dal nulla, va detto. Qualcomm ha percorso una strada simile con la sua soluzione HBC, anche se basata su stack DRAM di tipo LPDDR, mentre i tre grandi produttori di memoria, Samsung, SK Hynix e Micron, hanno già mostrato piani per integrare logica di calcolo e controller nei rispettivi base die HBM dei prodotti futuri. La differenza è che qui il controller sarà un progetto proprietario NVIDIA, disegnato su misura e infilato dentro la memoria.
Tecnicamente NVHBM viene presentata come un’estensione di NVLink Fusion, l’ecosistema che permette di collegare acceleratori diversi sotto una stessa architettura. Arriva in un momento in cui i modelli hanno superato la soglia del trilione di parametri e la banda di memoria conta quanto, se non più, della potenza di calcolo grezza. I vantaggi rivendicati a livello di piattaforma sono tre e si tengono insieme piuttosto bene: più banda, più area disponibile sul package e sul silicio, meno energia bruciata dalla memoria.
Amazon, Trainium4 e le GPU Feynman
Sul fronte adozione, NVIDIA sta costruendo un’implementazione standard di NVHBM che sarà disponibile da più fornitori di memoria. L’obiettivo dichiarato è ridurre il lavoro di integrazione e qualifica che di solito serve quando si passa da un produttore all’altro, con un beneficio diretto per chi fa parte dell’ecosistema NVLink Fusion e vuole portare sul mercato chip AI personalizzati in tempi più rapidi.
Il primo partner di peso è Annapurna Labs, la divisione silicio di Amazon. Le due aziende lavoreranno all’integrazione di NVHBM con l’architettura scale up di NVLink. “NVHBM rappresenta un nuovo approccio architetturale per far avanzare prestazioni ed efficienza della memoria ad alta banda”, ha dichiarato Nafea Bshara, vicepresidente di Annapurna Labs in Amazon, aggiungendo di attendersi benefici per i futuri progetti infrastrutturali di AWS.
I chip Trainium4, prima generazione della nuova serie AWS, useranno NVLink Fusion per collegare GPU NVIDIA e silicio Amazon all’interno di una architettura comune a livello di rack. Un’accoppiata che fino a poco tempo fa sarebbe sembrata improbabile, visto che Trainium nasce proprio come alternativa alle GPU di NVIDIA.
Quanto ai tempi, NVIDIA aveva già parlato di memoria HBM personalizzata in relazione alle GPU Feynman, e quella generazione resta la candidata più credibile per il debutto di NVHBM, con arrivo previsto nel 2028. Il quadro tecnico, insomma, è già tracciato: controller custom nel base die, interfaccia più snella, e un guadagno che NVIDIA quantifica in oltre il 30% di banda aggiuntiva rispetto a HBM4E.
