CoreAI

CoreAI è finalmente arrivato, e per Apple rappresenta il successore di quel CoreML che per quasi nove anni ha fatto da spina dorsale a buona parte dell'elaborazione machine learning sui suoi dispositivi. Il nuovo motore porta con sé due cambiamenti che fanno gola agli sviluppatori: l'inferenza che non dipende più da un formato specifico e il supporto a modelli con un'impronta di memoria decisamente più pesante. Solo che i primi test, quelli veri, raccontano una storia un po' meno trionfale di quanto ci si potesse aspettare. CoreAI: cosa cambia rispetto a CoreML Per chi non mastica troppo l'argomento, conviene fare un passo indietro. Apple aveva lanciato il framework CoreML nel 2017, pensandolo soprattutto per far girare compiti di machine learning piccoli e statici, roba leggera che non richiedeva chissà quale muscolo computazionale. Negli anni quel sistema è diventato lo standard di fatto, il pilastro silenzioso dietro tante funzioni che gli utenti nemmeno notavano. Nove anni sono tantissimi nel mondo della tecnologia, ed era logico aspettarsi un erede capace di reggere il peso dei modelli di oggi, ben più grandi e affamati di risorse. Ed è qui che entra in gioco CoreAI, con la promessa di gestire large-model memory footprints, cioè modelli linguistici molto più corposi, e di farlo senza vincolarsi a un singolo formato di file. Sulla carta sembra il salto generazionale che serviva. Nella pratica, però, le cose si fanno più sfumate. I numeri dei benchmark e il confronto con MLX I test mostrano un quadro che merita attenzione. Su modelli molto piccoli, quelli minuscoli, CoreAI vola. Parliamo di una velocità fino a 2,47 volte superiore rispetto a MLX, l'altro framework di casa Apple. Un risultato che, preso così, farebbe pensare a un dominio netto. Solo che la realtà degli usi quotidiani non gira intorno ai modelli giocattolo. Quando si passa a dimensioni più concrete, quelle che davvero contano per chi sviluppa applicazioni serie, il discorso si ribalta. Su un modello da 8B, considerato la soglia realistica per il lavoro vero, il vantaggio si assottiglia fino quasi a sparire. I benchmark parlano chiaro: in fase di decoding, CoreAI "converge a un quasi pareggio" con MLX proprio sugli 8 miliardi di parametri. In altre parole, il distacco mostruoso che si vede sui modelli piccoli evapora man mano che la scala cresce. Questo dato interessa parecchio perché ridimensiona le aspettative. Avere un motore che corre due volte e mezzo più veloce ha senso solo se quel vantaggio si mantiene anche dove serve. E i modelli da 8B sono esattamente quelli che molti sviluppatori prendono come riferimento quando devono far girare elaborazione direttamente sul dispositivo, senza appoggiarsi al cloud. Il punto, allora, non è tanto se CoreAI sia migliore di MLX, ma capire in quali condizioni quel miglioramento si traduca in qualcosa di tangibile. Sui carichi leggeri il guadagno è evidente e misurabile. Sui carichi realistici, quelli che riempiono la memoria e mettono sotto sforzo il chip, i due framework finiscono testa a testa. Per Apple si tratta comunque di un passo avanti rispetto al vecchio CoreML, soprattutto per la flessibilità sui formati e per la capacità di reggere modelli più grandi. Ma chi sperava in un balzo prestazionale uniforme su tutta la linea dovrà accontentarsi di un risultato più ragionato, dove il numero a effetto del 2,47x vale soprattutto sulla carta dei modelli più piccoli. Fonte

CoreAI

CoreAI: il nuovo motore AI di Apple delude nei benchmark reali