La potenza degli smartphone si misura ormai anche dalla capacità di gestire modelli di intelligenza artificiale direttamente sul dispositivo, e un test recente ha mostrato qualcosa di davvero notevole: iPhone 17 Pro è riuscito a eseguire in locale un LLM da 400 miliardi di parametri, segnando quello che potrebbe essere un punto di svolta concreto per l’IA su mobile.
Per capire perché la cosa faccia notizia, vale la pena fare un passo indietro. I modelli linguistici di grandi dimensioni, quelli che stanno dietro a chatbot e assistenti virtuali sempre più sofisticati, richiedono normalmente un hardware estremamente performante. Non si parla di un portatile qualunque: anche le versioni compresse o quantizzate di un LLM con 400 miliardi di parametri necessitano di almeno 200 GB di RAM per poter funzionare. Roba che fino a poco tempo fa era dominio esclusivo di server e workstation da migliaia di euro, non certo di uno smartphone che sta in tasca.
Cosa significa davvero far girare un LLM così grande su uno smartphone
Quando si parla di eseguire un modello di questa portata su un dispositivo mobile, non bisogna pensare che iPhone 17 Pro possa farlo con la stessa fluidità di un data center. La velocità di generazione dei token, ad esempio, non è paragonabile a quella che si ottiene con GPU dedicate da decine di migliaia di euro. Però il fatto stesso che il dispositivo riesca a caricare e processare un modello di queste dimensioni rappresenta un risultato tecnico significativo.
Il merito va attribuito in buona parte al chip Apple di nuova generazione che equipaggia iPhone 17 Pro, progettato con un’attenzione particolare alla gestione della memoria unificata e al Neural Engine. Apple ha lavorato molto sulla bandwidth della memoria e sull’ottimizzazione a basso livello, rendendo possibile quello che sulla carta sembrava irrealistico per un dispositivo portatile.
IA on device: la direzione è ormai tracciata
Questo test conferma una tendenza che il settore sta seguendo con convinzione da almeno un paio d’anni. L’obiettivo delle grandi aziende tech è portare sempre più elaborazione IA direttamente sul dispositivo, riducendo la dipendenza dal cloud. I vantaggi sono evidenti: maggiore privacy, tempi di risposta più rapidi e la possibilità di usare funzionalità intelligenti anche senza connessione a internet.
iPhone 17 Pro, con questa dimostrazione, si posiziona come uno dei primi smartphone capaci di gestire modelli linguistici di dimensioni fino a poco fa impensabili per il mobile. Ovviamente resta da vedere come Apple sfrutterà questa capacità hardware a livello software, e se Siri e le altre funzioni integrate beneficeranno concretamente di questa potenza aggiuntiva nei prossimi aggiornamenti.