La scelta di AMD di puntare su Cerebras come partner per rafforzare le capacità di inferenza del suo sistema rack-scale Helios sembra rivelarsi azzeccata, e a confermarlo arriva un elogio piuttosto acceso da parte di un ricercatore di OpenAI, che ha definito i chip basati sul Wafer-Scale Engine niente meno che incredibili quando si tratta di velocità.
Andiamo con ordine. Helios è la prima soluzione full-stack a livello di rack pensata da AMD per i carichi di lavoro legati all’intelligenza artificiale. Un sistema completo, insomma, che mette insieme diversi componenti sviluppati in casa. Ci sono le GPU AMD Instinct MI455X, le CPU AMD EPYC di sesta generazione, le schede di rete Pensando AI NIC, la DPU Pensando, l’Infinity Fabric e lo stack software ROCm. Il tutto per creare una macchina capace di reggere richieste sempre più pesanti.
Cosa porta Cerebras dentro AMD Helios
Per spingere ancora di più le prestazioni, AMD ha deciso di integrare il Wafer-Scale Engine di Cerebras nei suoi sistemi Helios, con l’obiettivo di ottenere un’inferenza fulminea. Chi non conosce questa tecnologia farà bene a saperlo, perché è piuttosto particolare. In pratica, l’intera memoria e la potenza di calcolo di un supercomputer per l’intelligenza artificiale vengono racchiuse in un unico gigantesco foglio di silicio interconnesso. Centinaia di migliaia di core e decine di gigabyte di SRAM collegati senza soluzione di continuità, così che i dati possano muoversi senza mai scontrarsi con i colli di bottiglia delle reti esterne.
Il vantaggio è concreto. Il Wafer-Scale Engine riesce a contenere un intero modello di medie dimensioni, oppure pezzi enormi di un modello più grande, dentro il suo blocco unificato di SRAM. E non serve solo per l’inferenza, perché lo stesso approccio permette anche l’addestramento dei modelli.
Nel piano immaginato da AMD, Helios fa da motore di throughput scalabile e ad alte prestazioni, mentre la tecnologia di Cerebras si occupa del decode e della generazione di token con latenza bassissima. Messe insieme, le due componenti dovrebbero arrivare a offrire fino a 5 volte più token al secondo per watt.
Le parole del ricercatore di OpenAI
Il cuore della vicenda sta proprio nel commento di Jeffrey Wang, ricercatore di OpenAI. A quanto racconta, alcuni modelli interni dell’azienda girano già su chip Cerebras, e la differenza si sente parecchio. Sono le sue parole a dirlo chiaramente. “Internamente abbiamo alcuni modelli OpenAI che girano su chip Cerebras. Sono incredibili perché hanno un’inferenza così rapida.”
Wang è andato anche oltre, spiegando cosa significa tutto questo nella pratica quotidiana. “E quello che questo comporta per me giorno per giorno è che, mentre prima magari dovevo aspettare un paio di minuti perché un compito finisse, ora finisce ancora prima che io abbia l’occasione di passare a un altro compito. Mi rende molto più produttivo.”
Vale la pena ricordare cosa significa il cosiddetto context-switch. I modelli di intelligenza artificiale lo fanno quando saltano da un’attività all’altra. Può capitare in scenari multi-agente, dove il modello deve svolgere una serie di compiti diversi, oppure nei modelli Mixture of Experts, dove sottoreti neurali diverse si specializzano ciascuna in un tipo di compito.
Il fatto che OpenAI sia già così soddisfatta dei sistemi Cerebras lascia intendere che i sistemi rack-scale Helios di AMD, una volta integrati con i Wafer-Scale Engine, potrebbero andare a ruba appena arrivano sul mercato. E il discorso diventa ancora più rilevante se si pensa a un dettaglio non da poco. I costi di inferenza sono ormai il fattore che più di ogni altro determina la redditività di un data center.