In questo articolo Indice dei contenuti 2 sezioni
Meta Muse Glimmer è il tentativo di portare un vero agente AI direttamente sul computer, senza dover appoggiarsi ogni volta a un servizio cloud. Per farlo non basta un modello linguistico piccolo e leggero. Serve memoria sufficiente per gestire conversazioni molto lunghe, la capacità di leggere immagini e schermate, chiamate affidabili verso strumenti esterni e una velocità di generazione che regga anche compiti fatti di decine di passaggi. Meta prova a mettere insieme tutti questi pezzi con un modello open-weight da circa 30 miliardi di parametri, pensato fin dall’inizio per girare in locale e per applicazioni agentiche. I pesi arrivano con licenza Apache 2.0 e l’idea è renderli utilizzabili su workstation e PC con una singola GPU consumer da 24 o 32 GB di memoria.
Non va confuso con l’ennesimo chatbot offline visto e rivisto. Qui l’obiettivo è diverso, ovvero mettere in mano agli utenti uno strumento per costruire agenti AI capaci di usare strumenti, lavorare sui file, programmare, interpretare schermate e portare avanti operazioni complesse senza spedire per forza i dati verso infrastrutture remote.
Un modello che non è la versione ridotta di un chatbot
Sul piano tecnico Muse Glimmer contiene circa 29,6 miliardi di parametri, dichiara una finestra di contesto superiore a 131.072 token, capisce testo e immagini e si appoggia a un encoder visuale dedicato. Nella variante quantizzata più compatta il solo modello linguistico scende attorno ai 17 GB, così da lasciare spazio in memoria per KV cache, componente visuale e motore di speculative decoding anche dentro una GPU da 24 GB di VRAM.
La parte curiosa riguarda l’addestramento. Glimmer nasce dal lavoro fatto con Muse Spark, un modello più grande usato come teacher. Durante il pre-training è stata applicata la tecnica della logit distillation, che invece di dare al modello piccolo solo la risposta finale prodotta dal teacher prova a trasferire informazioni sulla distribuzione delle probabilità calcolate dal modello maggiore per i token successivi. In pratica il modello compatto impara non solo cosa rispondere, ma parte del comportamento decisionale del fratello maggiore. Poi Meta ha aggiunto una fase con sequenze più lunghe, più dati orientati agli agenti e tracce di ragionamento più ricche. Il post-training mescola supervised fine-tuning, distillazione on-policy e reinforcement learning su compiti generali, ragionamento, programmazione e uso degli strumenti.
È un dettaglio che conta parecchio. Molti agenti AI vanno in crisi proprio quando devono scegliere una funzione, generare argomenti conformi allo schema previsto, leggere il risultato, capire se qualcosa è andato storto e decidere la mossa successiva. Se una chiamata restituisce un errore, fermarsi e basta non è quello che l’utente si aspetta. Glimmer è addestrato anche per riconoscere il problema e provare una strada alternativa.
Un agente locale che vede lo schermo e ricorda a lungo
La componente visuale si basa su un encoder dedicato, ViT-G/14, che permette al modello di analizzare screenshot, documenti, grafici e interfacce software. Un agente potrebbe riconoscere un pulsante in una finestra, leggere le informazioni mostrate da un programma e decidere cosa fare dopo. Nella stessa finestra di contesto trovano posto istruzioni, pezzi di documenti, codice sorgente, risultati delle chiamate ai tool e cronologia delle operazioni già fatte. Una finestra così ampia non garantisce memoria perfetta di ogni dettaglio, ma evita di dover buttare via di continuo pezzi di conversazione.
Ridurre l’ingombro in memoria però non basta, perché un agente deve anche rispondere in tempi decenti. Qui entra in gioco DFlash, una tecnica di speculative decoding che affianca al modello principale un sistema più piccolo e veloce. Quest’ultimo propone in anticipo gruppi di token, Glimmer li verifica e accetta quelli compatibili con la propria previsione. Nei test pubblicati da Meta una GeForce RTX 5090 arriva a circa 233 token al secondo con DFlash, contro i circa 75 token al secondo senza. Numeri interessanti, che però cambiano in base all’hardware, alla lunghezza del prompt, al metodo di campionamento e al tipo di attività.
Va detto che un modello da 30 miliardi di parametri chiede comunque hardware costoso per andare forte. Una RTX 5090 o un Mac con 32 GB e oltre non sono certo il PC medio, e i modelli remoti più grandi restano superiori in molti scenari. Il punto vero è un altro. Se le integrazioni promesse con llama.cpp, MLX, ExecuTorch, Ollama e LM Studio manterranno questa impostazione, Glimmer potrebbe diventare una base concreta per software che oggi evitano gli agenti locali perché un modello piccolo non è affidabile e uno grande occupa troppa memoria. Il salto non sta solo nell’avere 30 miliardi di parametri sul PC, ma nel poterli usare per osservare, ragionare, chiamare strumenti, correggere errori e andare avanti senza trasformare ogni passaggio in una richiesta a un server remoto.
