inference

La nuova piattaforma Vera Rubin di Nvidia, attesa entro la fine di quest'anno, arriva in un momento in cui il mondo dell'intelligenza artificiale sta cambiando pelle. Non è più la fase degli addestramenti giganteschi a dettare le regole, ma quella dell'inference su larga scala, quella che serve a far girare gli agenti AI in modo veloce ed economico. La fame di token generati dai flussi di lavoro agentici e la necessità di produrli in fretta, con bassi costi per singola unità, sono ormai il centro di tutto. Il sistema completo, chiamato Vera Rubin NVL72, mette insieme 36 CPU Vera e 72 GPU Rubin in un rack. Ma il cuore del discorso qui è la GPU. Rubin unisce due die di calcolo su un unico package grazie alla High Bandwidth Interface di Nvidia. Il risultato è un chip con 224 Streaming Multiprocessor, per un totale di 896 Tensor Core, affiancati da 288GB di memoria HBM4 che garantiscono 22 TB/s di banda. Sul fronte prestazioni, il dato che Nvidia mette in vetrina è la potenza di 50 sparse PFLOPS di NVFP4 in fase di inference, anche se è solo uno dei tanti tipi di dati che questo chip riesce a gestire. Le ottimizzazioni pensate per l'inference Uno dei primi miglioramenti riguarda il Tensor Memory Accelerator, il motore dedicato ai calcoli degli indirizzi di memoria che alimenta i Tensor Core. I modelli AI più avanzati sono passati dalle architetture dense, dove ogni parametro si attiva per ogni token, a quelle di tipo mixture of experts. In queste ultime solo alcune sotto reti specializzate entrano in azione, guidate da un router che decide quali "esperti" siano più adatti a un dato input. Sulle GPU Blackwell il TMA doveva tenere in memoria descrittori separati per ogni singolo esperto, con un peso computazionale che cresceva insieme al numero di esperti. Con Rubin invece basta un unico descrittore unificato aggiornato direttamente nell'istruzione, liberando cicli di calcolo per il lavoro che conta davvero. C'è poi il raddoppio della cosiddetta dimensione K, l'asse interno condiviso tra due matrici da moltiplicare. In pratica un calcolo che su Blackwell richiedeva quattro passaggi, su Rubin si chiude in due soli. Nvidia sostiene che il beneficio si estende a operazioni limitate da throughput, memoria e latenza, tornando utile sia nella fase di elaborazione del contesto sia in quella di decodifica. Occhio anche al softmax, operazione fondamentale nei meccanismi di attenzione dei modelli basati su transformer. Con contesti che ormai arrivano fino a un milione di token, velocizzare questi calcoli è decisivo. Rubin mantiene il raddoppio già visto su Blackwell Ultra nella matematica esponenziale FP32 e raddoppia ancora i calcoli BF16 e FP16, arrivando a un miglioramento fino a 4 volte rispetto al primo Blackwell. Comunicazione tra GPU e utilizzo migliore Rubin aumenta anche l'occupazione dei Tensor Core con una gestione più fine delle dipendenze tra kernel. Un kernel consumatore può iniziare a lavorare sui singoli blocchi di thread appena i dati del kernel produttore sono pronti, senza aspettare l'intero lotto. Il risultato è minor latenza e più token al secondo per ogni utente. Restano poi le comunicazioni tra le GPU collegate via NVLink all'interno del rack. Su Blackwell un trasferimento richiedeva operazioni di store seguite da barriere di memoria e flag atomici. Rubin introduce una funzione chiamata counted writes, che sostituisce tutto questo con un singolo aggiornamento di contatore sulla GPU ricevente, riducendo traffico e latenza. Le prime consegne dei sistemi Vera Rubin sono previste in autunno.

inference

Nvidia Rubin: la nuova architettura pensata per l’inference AI