La partita dell’inferenza AI si gioca sempre più a colpi di alleanze, e l’ultima mossa arriva da AMD che ha deciso di rispondere a NVIDIA unendo le forze con Cerebras. L’obiettivo è integrare la soluzione rack-scale chiamata Helios con il Wafer-Scale Engine di Cerebras, spingendo così le capacità di inferenza del sistema combinato ben oltre quanto visto finora. Tutto nasce dalla scelta di NVIDIA di accaparrarsi Groq nel momento in cui la sua LPU ha mostrato di essere davvero efficiente nel gestire i carichi di lavoro dedicati all’inferenza.
AMD e Cerebras contro NVIDIA: due filosofie diverse per la stessa sfida
Per capire cosa sta succedendo conviene fare un passo indietro. La LPU, ovvero la Language Processing Unit di Groq, mette insieme centinaia o addirittura migliaia di chip specializzati. Ogni singolo chip contiene grossi blocchi di unità Matrix Multiply e Vector, oltre a circa 230MB di SRAM velocissima. Un dettaglio non da poco: i pesi dei modelli AI vengono scritti direttamente nella SRAM, bypassando del tutto il concetto di cache di memoria.
C’è di più. La LPU non ha né branch predictor né scheduler hardware. Al loro posto lavora il compilatore di Groq, che pianifica ogni singolo calcolo al nanosecondo esatto, in modo che i dati giusti arrivino dalla SRAM al momento giusto, in un flusso continuo e studiato nei minimi particolari. Il risultato è un’inferenza estremamente rapida.
Il Wafer-Scale Engine di Cerebras segue una strada opposta. Mette memoria e potenza di calcolo di un intero supercomputer AI su un unico enorme foglio di silicio interconnesso. Centinaia di migliaia di core di calcolo e decine di GB di SRAM lavorano insieme senza soluzione di continuità, così i dati si muovono senza mai incappare in colli di bottiglia di rete esterni. Mentre la LPU usa piccole riserve isolate di SRAM e spezza il modello distribuendolo su tanti chip, Cerebras riesce a tenere un intero modello di medie dimensioni, o pezzi grossi di un modello grande, dentro il suo blocco unificato di SRAM. E la sua versatilità permette sia l’addestramento sia l’inferenza.
Cosa promette la coppia Helios più Cerebras
Nella tabella di marcia immaginata da AMD, Helios farà da motore di throughput ad alte prestazioni e scalabile, mentre la tecnologia Wafer-Scale Engine si occuperà della decodifica e della generazione dei token con latenza bassissima. Insieme, i due motori dovrebbero arrivare a offrire fino a 5 volte più token al secondo per watt.
Un equilibrio interessante. Da una parte le esigenze di generazione massiccia dei carichi basati sul volume, dall’altra i tempi di risposta rapidi che servono al coding e ad altre attività agentiche. Come spiega la stessa AMD, Helios gestisce prompt e finestre di contesto ampie con throughput altissimo, mentre il Wafer-Scale Engine accelera la generazione dei token, quella parte assetata di banda di memoria, mantenendo la latenza ridotta al minimo. Collegando questi due motori attraverso un unico flusso di lavoro integrato, le due aziende puntano a creare una piattaforma capace di offrire inferenza a bassissima latenza senza rinunciare a throughput e scalabilità.
Sul fronte opposto, NVIDIA sta già vendendo la sua offerta rack-scale basata su LPU, battezzata Groq 3 LPX, con 256 acceleratori Groq 3 LPU interconnessi, raffreddamento a liquido completo e 315 PFLOPS di potenza dedicata all’inferenza. Numeri di tutto rispetto, eppure la collaborazione tra AMD e Cerebras propone un prodotto rack-scale decisamente più versatile rispetto alle LPU piuttosto rigide che troviamo dentro il Groq 3 LPX.