In questo articolo Indice dei contenuti 2 sezioni
Qualcomm ha annunciato che il suo primo chip High Bandwidth Compute (HBC) è stato validato nei laboratori di San Diego, un passaggio che offre all’azienda le prime prove concrete su un’architettura di memoria pensata per l’inferenza AI. L’idea di fondo è avvicinare la capacità di calcolo alla memoria per abbattere i costi dell’elaborazione dei modelli di intelligenza artificiale. Secondo il produttore californiano il silicio di prima generazione sta già facendo esattamente questo, almeno in laboratorio. Il chip avrebbe gestito l’intero percorso di lettura e scrittura della memoria e i calcoli eseguiti accanto a essa con dimensioni rappresentative della produzione. I test si sono svolti con apparecchiature automatiche standard del settore, usando pesi e attivazioni generati in modo casuale.
Il collo di bottiglia della memoria e la risposta di Qualcomm
Il nodo da sciogliere è la larghezza di banda della memoria, che Qualcomm considera un limite centrale per l’inferenza dei grandi modelli linguistici. Ogni token generato richiede infatti che i dati del modello vengano trasferiti alle unità di calcolo. Su scala da data center l’energia e la latenza di questo continuo spostamento pesano sulla capacità di elaborazione, sui consumi e sul costo complessivo di gestione. La tecnologia HBC punta a risolvere il problema collocando il calcolo più vicino alla memoria, così da ridurre il traffico dei dati e aumentare la banda effettiva.
Nel concreto il progetto HBC impila die LPDDR a basso consumo sopra un die di base che funge da acceleratore AI attivo, sfruttando un collegamento diretto tra wafer. In questo modo la distanza percorsa dai dati passa dai millimetri a pochi micrometri. Il risultato dichiarato è una banda di memoria effettiva 18 volte superiore rispetto a LPDDR5X e oltre 5 volte la banda per watt prevista dalle specifiche di HBM4. Va detto però che il guadagno in efficienza è rimasto leggermente sotto il traguardo di 6 volte indicato in precedenza dall’azienda.
La stessa Qualcomm precisa che si tratta di stime basate sui risultati misurati sul silicio, normalizzate rispetto alle condizioni operative previste e confrontate con le specifiche pubblicate dei prodotti concorrenti. Le prestazioni finali potrebbero cambiare in base all’implementazione, al carico di lavoro e alla configurazione del sistema. Sono comunque dati ottenuti nel laboratorio interno su un chip ancora in fase iniziale, e test indipendenti potrebbero restituire un quadro diverso.
Dragonfly AI250 e la tabella di marcia verso il 2028
L’azienda descrive un programma articolato in più fasi, che spazia dall’architettura allo sviluppo del processo produttivo, passando per prototipi di prova, validazione del silicio e integrazione nei prodotti. Qualcomm ha collaborato con partner di fonderia e assemblaggio per qualificare il collegamento tra wafer. Per gestire i difetti negli strati impilati il progetto prevede meccanismi di ridondanza e rimappatura, che consentono di aggirare le porzioni di memoria difettose. Il gruppo ricorda inoltre oltre dieci anni di lavoro sulla memoria posta direttamente sulla logica, compreso il collegamento diretto di DRAM su logica già arrivato sul mercato, oltre al contributo nella definizione degli standard JEDEC LPDDR.
I prodotti commerciali dovrebbero adottare uno stack DRAM a quattro strati, contro i due attuali. Il primo a debuttare sarà Dragonfly AI250, con i campioni attesi nella prima metà del 2027. Il chip troverà posto all’interno di Dragonfly Rack, l’infrastruttura per l’inferenza sviluppata da Qualcomm. Sul fronte delle specifiche si parla di un rack completo raffreddato a liquido con 38,6 TB di memoria e 7,4 petabyte al secondo di banda effettiva.
La strategia dell’azienda si sposta sempre più verso il mondo dei server. Sempre nel 2027 è previsto il debutto della CPU per server C1000 basata su architettura Oryon, mentre nel 2028 arriverà la nuova generazione di HBC con Dragonfly AI300.
Fonte: TecnoAndroid