Bonsai 27B è il nome del modello che promette di fare una cosa che fino a poco tempo fa sembrava roba da fantascienza: portare un sistema di intelligenza artificiale da 27 miliardi di parametri direttamente dentro un telefono. A muoversi in questa direzione non c’è solo OpenAI, che sull’AI on-device sta spingendo parecchio, ma anche PrismML, che con questo lancio ha deciso di alzare l’asticella. Il modello è arrivato ieri e si basa su Qwen3.6 27B, presentandosi in due versioni compresse: una binaria da 3,9 GB e una ternaria da 5,9 GB. Entrambe reggono testo e immagini, entrambe con licenza Apache 2.0.
Un modello da 27 miliardi di parametri che sta in tasca
Il punto di partenza è tutt’altro che banale. Un modello da 27 miliardi di parametri, in formato FP16, si porterebbe dietro qualcosa come 54 GB di memoria. Roba impensabile per uno smartphone. PrismML dice di aver aggirato l’ostacolo lavorando end-to-end sui pesi del modello, senza limitarsi a una quantizzazione applicata solo alla fine. Il risultato è un sistema che gira su hardware di consumo e che, stando a quanto dichiarato, funziona pure sugli iPhone più recenti.
Le due varianti hanno vocazioni diverse. Quella da 1 bit punta tutto sulla portabilità, la ternaria invece cerca una qualità più alta pur restando leggera. E qui viene il bello, perché Bonsai 27B non è pensato come un chatbot alleggerito e nulla più. La documentazione lo descrive come un sistema multimodale che accetta immagini oltre al testo, lavora con un contesto fino a 262.144 token e gestisce tool calling e flussi agentici complessi in locale. Ragionamento, coding, pianificazione, debugging: l’architettura è stata studiata per ridurre memoria, latenza e i continui trasferimenti tra RAM e processore.
C’è poi un dettaglio che riguarda da vicino chi lavora nell’ecosistema Apple. Il modello è compatibile con MLX, il framework pensato per Apple Silicon, e questo permette di farlo girare su Mac. Nella variante binaria, sostiene PrismML, funziona anche sui dispositivi mobile compatibili, quindi gli iPhone di cui si parlava. L’azienda ha citato pure un throughput operativo su iPhone 17 Pro e la disponibilità open source del modello, due elementi che raccontano la volontà di costruire qualcosa di davvero orientato all’AI locale.
Perché potrebbe cambiare qualcosa
La faccenda interessante è tutta qui: spostare una classe di modelli che finora viveva sui server cloud verso i dispositivi personali. I vantaggi sarebbero immediati e concreti. Più privacy, perché i dati non escono dal telefono. Operatività offline, quindi niente connessione obbligatoria. E costi di inferenza abbattuti, dato che non serve pagare l’elaborazione da qualche parte nel mondo. Se i risultati dichiarati reggeranno a verifiche fatte da terzi, Bonsai 27B potrebbe diventare un riferimento per chi vuole eseguire assistenti avanzati direttamente su telefono o notebook.
Un po’ di prudenza però serve. I numeri messi sul tavolo da PrismML sono notevoli, questo è vero, ma arrivano soprattutto dall’azienda stessa e dai canali che ne rilanciano gli annunci. Detto in altre parole, il modello segna un passaggio interessante nella storia dell’AI on-device, ma quanto peserà davvero sul mercato dipenderà dalle prove sul campo e da quanti sviluppatori decideranno di adottarlo.
