Tag: Taalas

AMD ha messo le mani su Taalas, una startup che progetta chip pensati appositamente per i carichi di lavoro legati all'inferenza, e lo ha fatto a poche settimane di distanza dall'accordo con Cerebras. L'obiettivo dichiarato è rafforzare il sistema Helios, quello destinato a scalare a livello di rack, e la strada scelta è tutt'altro che banale perché Taalas non fa girare i modelli su hardware programmabile ma li incide direttamente nel silicio. AMD: cosa significa cucire un modello nel silicio La promessa più interessante di Taalas riguarda l'eliminazione del cosiddetto memory wall, quella situazione ormai frequente in cui le GPU restano ferme ad aspettare che arrivino i dati giusti prima di poter macinare numeri. La soluzione passa da un'architettura digitale proprietaria capace di immagazzinare 4 bit di informazione ed eseguire operazioni matematiche usando un singolo transistor. Detto così suona quasi surreale, ma il meccanismo ha una sua logica precisa. Il chip HC1 di Taalas usa blocchi hardware condivisi che pre calcolano in modo permanente e continuo tutti i 16 possibili risultati di un peso quantizzato a 4 bit del modello. Siccome ogni esito matematico possibile è già in corso, distribuito sul chip, il singolo transistor non fa in realtà nessun calcolo. Funziona più come un instradatore fisico. Ogni peso specifico del modello è rappresentato da un transistor chiamato Mask ROM. Durante la produzione viene inciso un microscopico collegamento fisico, una maschera dello strato metallico, che unisce quel transistor a una delle 16 linee di prodotto già calcolate. Quando i dati scorrono attraverso il chip, il transistor sceglie il canale matematico corretto e lo passa al sommatore. Grazie a questo schema, il chip HC1 riesce a generare tra 16.000 e 17.000 token al secondo per utente, un numero che fa girare la testa. L'approccio ricorda da vicino la LPU di Groq, che sfrutta piccoli bacini isolati di SRAM dove i pesi del modello vengono incisi direttamente, saltando del tutto il concetto di cache di memoria. Dove si incastra dentro il rack Qui la faccenda si fa curiosa. Taalas non è programmabile. Quindi un'ipotesi concreta è quella di usare Helios per la fase di prefill e Taalas per la fase di decode, con la conseguenza che il tutto resterebbe legato a un modello specifico. Sarebbe una forma di inferenza semi custom, diversa nella filosofia da quanto costruito con Cerebras. L'inferenza infatti si divide in due fasi dalle caratteristiche opposte, e la domanda vera non è se questa tecnologia arriverà come prodotto a sé stante, ma dove finirà collocata all'interno del rack. Diventerà l'acceleratore dedicato al decode? La scelta di acquisire Taalas va letta insieme all'integrazione tra Helios e il Wafer Scale Engine di Cerebras. Quest'ultimo mette memoria e potenza di calcolo pari a quelle di un intero supercomputer per l'AI su un unico, gigantesco foglio di silicio interconnesso, dove centinaia di migliaia di core e decine di GB di SRAM dialogano senza soluzione di continuità, permettendo ai dati di muoversi in modo efficiente senza mai sbattere contro i colli di bottiglia della rete esterna. Due mosse ravvicinate che raccontano bene la direzione presa da AMD sul fronte dell'inferenza.

AMD acquisisce Taalas: chip che incidono i modelli nel silicio