Vai al contenuto
Offerte

NVIDIA Vera Rubin NVL72 su CoreWeave: throughput fino a 4,8 volte

In questo articolo Indice dei contenuti 3 sezioni

NVIDIA e CoreWeave hanno portato in piena produzione la piattaforma Vera Rubin NVL72, ora disponibile sul cloud di CoreWeave insieme alla CPU Vera proposta anche in versione autonoma. L’annuncio è arrivato durante CoreWeave Fully Connected 2026 e segna un salto di prestazioni notevole rispetto ai server Blackwell, al punto da permettere ai clienti di chiudere in pochi giorni lavori che prima richiedevano settimane.

I numeri dei primi test parlano chiaro. Nelle prove iniziali di inferenza dedicate all’ingegneria del software, Vera Rubin NVL72 ha raggiunto un throughput complessivo di token fino a 4,8 volte superiore rispetto a GB200 NVL72. Questo si traduce in una generazione di codice più rapida e in un ragionamento a più passaggi decisamente più reattivo.

NVIDIA Vera Rubin: cognition fa da apripista e V100 è ancora al lavoro

A beneficiarne per prima è stata Cognition, la società dietro Devin, l’ingegnere software basato sull’intelligenza artificiale. È stata la prima ad assicurarsi le nuove installazioni nei data center di CoreWeave ed è riuscita a scalare fino a migliaia di GPU nell’arco di nove mesi. Già a settembre l’azienda aveva messo a confronto Vera Rubin e Grace Blackwell sul fronte dell’inferenza, registrando proprio quel guadagno di 4,8 volte nel throughput totale di token sui propri carichi di lavoro.

La rapidità della messa in opera è forse il dettaglio più interessante. CoreWeave ha allestito un cluster Vera Rubin di produzione per Cognition in pochi giorni, un risultato reso possibile dalla progettazione congiunta con NVIDIA che coinvolge l’intera filiera, dall’infrastruttura fino ai token serviti. E Cognition non resterà sola, perché molti altri partner sfrutteranno la stessa installazione grazie a un programma di accesso anticipato.

Curioso il punto sollevato da Ian Buck, vicepresidente hyperscale e calcolo ad alte prestazioni di NVIDIA. Secondo il dirigente il calcolo accelerato dell’azienda mantiene il suo valore attraverso le generazioni, tanto che le GPU V100 di CoreWeave continuano a gestire carichi dei clienti quasi dieci anni dopo il lancio di Volta, proprio mentre Vera Rubin NVL72 entra in produzione. Per Buck la forza della piattaforma sta in un’infrastruttura che continua a generare ricavi per anni e nella flessibilità di assegnare la GPU giusta al carico di lavoro giusto.

La CPU Vera e i costi rispetto agli hyperscaler

Accanto ai server NVL72 arriva sul cloud anche la CPU Vera. I processori sono diventati la base dei flussi di lavoro legati all’IA agentica e il chip di NVIDIA è stato pensato proprio per questo scopo. Tra i risultati spicca un avvio delle sandbox agentiche tre volte più veloce. Al momento un singolo rack di CoreWeave ospita 128 CPU Vera, pari a 11.264 core, abbastanza per gestire oltre 11.000 ambienti in contemporanea. Su un benchmark dedicato alle attività da terminale gli stessi processori offrono un incremento di prestazioni di 1,7 volte su tutti i compiti superati.

La capacità si gestisce tramite CoreWeave Kubernetes Service, SUNK, CoreWeave Mission Control, CoreWeave Sandboxes e CoreWeave Inference. Sul piano economico l’azienda dichiara un costo totale inferiore a quello dei grandi cloud per distribuzioni triennali su GPU Blackwell, con risparmi fino al 41% su HGX B200, fino al 65% su GB200 NVL72 e fino al 52% su HGX B300.

Arriva CoreWeave Forge

Insieme all’arrivo di Vera Rubin e Vera, la società ha presentato CoreWeave Forge, un ambiente unico che riunisce Weights & Biases, l’esperienza di OpenPipe nel post training e il progetto open source marimo dedicato ai notebook. L’obiettivo è il miglioramento continuo di modelli e agenti. Dentro trova posto CoreWeave ARIA, ora disponibile per tutti, che aiuta a studiare, programmare e iterare analizzando le esecuzioni, proponendo esperimenti e suggerendo modifiche al codice salvate su GitHub.

Debutta poi CoreWeave Agent Lens, un servizio che trasforma l’osservazione degli agenti in produzione in indicazioni comprensibili. Migliora del 20% il rilevamento dei guasti e risolve i problemi a metà del costo, ricavando informazioni utili da decine di milioni di tracce. Anche CoreWeave Sandboxes è ora disponibile per tutti e consente di eseguire agenti, chiamate a strumenti, reinforcement learning e valutazioni in ambienti isolati su CPU o GPU, sia su infrastruttura serverless sia su quella già usata per l’addestramento.

Completa il quadro il post training, che sfrutta i segnali di produzione degli utenti per migliorare la qualità dei modelli e ridurre latenza e costi senza bisogno di un cluster di addestramento. Il fine tuning supervisionato e il reinforcement learning in modalità serverless permettono di sperimentare ricette di addestramento personalizzate, e il RL serverless addestra 1,4 volte più velocemente con un costo inferiore del 40% rispetto a una configurazione gestita in autonomia.

Fonte: TecnoAndroid

Condividi:
79 Condivisioni