In questo articolo Indice dei contenuti 2 sezioni
OpenAI ha tirato fuori i primi numeri di Jalapeño, il chip progettato in casa per far girare i suoi modelli, e i dati diffusi raccontano un confronto diretto con l’hardware di Nvidia che finora ha dominato senza rivali il mercato dell’intelligenza artificiale. Due le cifre messe sul tavolo: fino a 3,6 volte meno latenza rispetto ai sistemi Nvidia e quasi il doppio dei token elaborati per ogni kW consumato. Non sono dettagli da addetti ai lavori, sono esattamente i due parametri che decidono quanto costa far funzionare un servizio come ChatGPT su scala planetaria.
Vale la pena capire cosa significano davvero quei numeri, perché dietro il gergo tecnico c’è una questione molto concreta di soldi ed energia. La latenza è il tempo che passa tra la richiesta dell’utente e la risposta del modello. Ridurla di un fattore vicino a 3,6 vuol dire risposte che arrivano molto più in fretta, con una differenza percepibile anche da chi non ha la minima idea di cosa ci sia dentro un data center. Il secondo dato riguarda invece i token per kW, ovvero quanta elaborazione si riesce a spremere da ogni unità di energia consumata. Raddoppiare quel rapporto significa, in soldoni, pagare circa la metà in bolletta per lo stesso lavoro.
Perché OpenAI ha voluto un chip suo
La corsa al silicio proprietario non nasce per sport. Chiunque oggi voglia addestrare o far girare modelli di grandi dimensioni deve passare dal mercato delle GPU, e quel mercato ha un padrone piuttosto evidente. Costruirsi un acceleratore su misura, cucito addosso al tipo di calcolo che serve davvero, permette di tagliare fuori tutto ciò che non serve e di ottimizzare quello che conta. È la stessa logica che ha portato altre grandi aziende tecnologiche a progettare processori interni invece di comprarli e basta.
Con Jalapeño il ragionamento sembra spinto proprio in quella direzione, cioè l’inferenza, la fase in cui il modello viene effettivamente usato dagli utenti e non quella in cui viene addestrato. È lì che i costi si accumulano giorno dopo giorno, milione di richieste dopo milione di richieste. Ed è lì che un guadagno di efficienza energetica del genere pesa più di qualsiasi record da vetrina.
Un confronto che va letto con calma
Detto questo, i benchmark pubblicati arrivano direttamente da OpenAI, quindi da chi il chip lo ha progettato. Non è un’accusa, è semplicemente il contesto in cui vanno inquadrati numeri di questo tipo. Le condizioni di test, i modelli utilizzati per il paragone e le configurazioni scelte fanno una differenza enorme quando si mettono a confronto architetture diverse, e i risultati di laboratorio non sempre coincidono con quelli sul campo.
Resta il fatto che l’annuncio sposta la conversazione. Fino a poco tempo fa il nome Nvidia era sinonimo di infrastruttura per l’intelligenza artificiale, punto. Vedere un’azienda che è anche uno dei suoi clienti più importanti presentarsi con un acceleratore proprio e rivendicare vantaggi misurabili su latenza ed efficienza è un segnale che il mercato sta cambiando forma. Il dato sull’efficienza, in particolare, tocca un nervo scoperto del settore. I consumi dei data center dedicati all’intelligenza artificiale sono diventati un problema di dimensioni industriali, tra reti elettriche sotto pressione e costi operativi che crescono più in fretta dei ricavi. Un chip capace di raddoppiare i token elaborati per ogni kW non è solo una vittoria tecnica, è una risposta a quel problema.
