Vai al contenuto
Offerte

Xiaomi Xring O100: 330 token al secondo per l’AI on-device

In questo articolo Indice dei contenuti 3 sezioni

Xring O100 è il nome dell’acceleratore che Xiaomi ha deciso di raccontare un po’ più nel dettaglio, dopo averlo mostrato quasi di sfuggita insieme agli altri due chip custom della famiglia Xring. Si tratta di un componente pensato per far girare modelli di intelligenza artificiale di grandi dimensioni direttamente sul dispositivo, senza passare dal cloud, e i numeri che l’azienda ha messo sul tavolo parlano di una larghezza di banda della memoria pari a 1,22 TB/s.

L’annuncio è arrivato durante l’evento dedicato al debutto dei primi dispositivi mobili equipaggiati con il SoC O3, quando il fondatore e amministratore delegato Lei Jun ha aggiunto qualche cifra a un progetto che fino a quel momento era rimasto piuttosto vago nei contorni. Xiaomi lo presenta come la prima soluzione al mondo a combinare un processo produttivo a 6 nanometri con un packaging avanzato 3D basato su impilamento a livello di wafer.

Come è costruito il chip Xring O100

Il cuore della faccenda sta in una tecnologia di hybrid bonding che, stando a quanto dichiarato, spinge i collegamenti tra i vari componenti fin quasi ai limiti fisici di ciò che oggi è realizzabile. Tradotto in parole povere, i die che si occupano dell’elaborazione e quelli della memoria DRAM ad alta velocità vengono impilati uno sopra l’altro in verticale, attraverso un approccio wafer on wafer.

Perché tutto questo abbia senso bisogna guardare al problema che cerca di risolvere. Quando un modello linguistico di grandi dimensioni viene eseguito in locale, il vero freno non è quasi mai la potenza bruta di calcolo, ma il tempo che i dati impiegano a spostarsi tra le unità di calcolo e la memoria. Accorciando fisicamente quella distanza, Xiaomi punta a eliminare uno dei colli di bottiglia più fastidiosi dell’intera architettura. È un’idea che sulla carta funziona, e che spiega perché il lavoro sul packaging sia diventato importante quanto quello sul nodo produttivo.

Prestazioni dichiarate e velocità di inferenza

I dati diffusi parlano di una larghezza di banda fino a 16 volte superiore rispetto a quella degli smartphone tradizionali, un salto notevole se confermato nell’uso reale. Su questa base, Xring O100 arriverebbe a una velocità di inferenza fino a 330 token al secondo, che nel linguaggio quotidiano significa risposte generate con una fluidità difficile da ottenere finora su un dispositivo che sta in tasca.

Dentro l’acceleratore trova posto anche una NPU multicore, ottimizzata per le diverse fasi del processo di inferenza. Non tutte le fasi hanno lo stesso profilo di carico, e avere unità specializzate permette di distribuire meglio il lavoro invece di trattare ogni operazione allo stesso modo. A completare il quadro c’è il supporto al routing dinamico dei dati, cioè la capacità di decidere sul momento quale percorso far seguire alle informazioni all’interno del chip.

Cosa significa avere l’AI in locale

L’insieme delle scelte tecniche racconta una direzione precisa. Xiaomi non sta costruendo un acceleratore generalista, ma un pezzo di silicio disegnato attorno a un compito specifico, cioè far girare modelli pesanti senza dipendere da server esterni. È la stessa strada che diverse aziende stanno percorrendo, con approcci diversi, ma il ricorso al packaging 3D su un chip destinato al mondo mobile resta una mossa poco comune.

Il processo a 6 nanometri potrebbe sembrare conservativo rispetto ai nodi più avanzati usati oggi sui SoC di punta, ma qui il vantaggio prestazionale viene cercato altrove, cioè nell’architettura verticale e nella vicinanza tra calcolo e memoria. Una scelta che ha anche implicazioni pratiche sui costi e sulla resa produttiva, considerato quanto sia complesso l’impilamento a livello di wafer.

Per ora Xiaomi ha parlato di specifiche e di primati tecnologici, senza scendere nel dettaglio su quali dispositivi ospiteranno l’acceleratore e con quali tempistiche.

Condividi:
159 Condivisioni