Vai al contenuto
Offerte

Apple Harbor, l’app Claris che unisce più Mac in un server AI

In questo articolo Indice dei contenuti 3 sezioni

Apple sta lavorando a Harbor, un’applicazione pensata per trasformare uno o più Mac in un unico server AI privato capace di far girare i modelli di intelligenza artificiale in locale. Il progetto porta il marchio Claris e punta a rendere accessibile l’inferenza su computer Apple Silicon anche a chi non ha particolari competenze tecniche. Collegare più macchine non è di per sé una novità. Lo è invece poterlo fare senza aprire il Terminale, senza configurare a mano le connessioni e senza intervenire sui meccanismi che distribuiscono i modelli.

Le fondamenta ci sono già. Con macOS Tahoe 26.2 Apple ha introdotto il supporto a RDMA su Thunderbolt 5, mentre il framework MLX ha via via ampliato le sue capacità di calcolo distribuito. Configurazioni come quella con quattro Mac Studio collegati per arrivare a 1,5 TB di memoria unificata complessiva sono già possibili, ma richiedono parecchio lavoro. Harbor promette di semplificare tutto questo, togliendo di mezzo le complessità che oggi accompagnano il clustering.

Come funziona Harbor tra singolo Mac e cluster

Il software non è ancora disponibile al pubblico. Compare in un’anteprima privata, affiancata da una pagina ufficiale Claris che ne conferma l’esistenza e descrive le funzioni previste. La società controllata da Apple, nota soprattutto per FileMaker, presenta Harbor come uno strumento per trasformare i Mac Apple Silicon in server privati dedicati ai modelli open weight. Ricerca, download e caricamento dovrebbero avvenire direttamente dall’interfaccia grafica, senza comandi né procedure di installazione macchinose.

Su un singolo computer il programma potrebbe predisporre in pochi minuti un endpoint di inferenza, vale a dire un servizio al quale altre applicazioni inviano richieste per ottenere le risposte generate dal modello. Quali API saranno supportate però non è stato ancora specificato.

La parte più ambiziosa riguarda il clustering automatico via Thunderbolt 5. Collegando almeno due Mac compatibili Harbor dovrebbe riconoscerli da solo e coordinare la memoria disponibile su ciascuno, così un modello troppo pesante per una sola macchina potrebbe distribuire i propri pesi su più dispositivi. Qui entra in gioco la memoria unificata, accessibile sia dalla CPU sia dalla GPU, che evita il continuo travaso di dati tra RAM di sistema e memoria video separata tipico di molte architetture tradizionali. Sommare la memoria di più Mac non crea però un unico spazio fisicamente condiviso con la stessa latenza. Ogni computer conserva la propria e il software deve suddividere il modello e coordinare il lavoro tra i nodi. La stessa tecnologia può servire anche a gestire più richieste in contemporanea, con benefici che variano in base al modello, al metodo di parallelizzazione e alla quantità di dati scambiati.

RDMA, MLX e i limiti della memoria sommata

Dalla versione 26.2 di macOS, RDMA permette di trasferire dati tra le memorie di computer diversi riducendo l’intervento della CPU. Nella nota tecnica TN3205 Apple spiega che per usarlo bisogna abilitarlo dall’ambiente di ripristino con il comando rdmactl enable. MLX dalla versione 0.30.1 supporta il backend JACCL, progettato proprio per sfruttare questa tecnologia e capace secondo la documentazione di ridurre la latenza di un ordine di grandezza rispetto alla soluzione precedente. Strumenti come mlx.distributedconfig e mlx.launch esistono già ma richiedono dimestichezza con SSH, interfacce di rete, topologie e parametri di esecuzione. È esattamente la complessità che la nuova app vuole cancellare.

Più memoria comunque non significa per forza più velocità. Thunderbolt 5 offre 80 Gbit/s bidirezionali nominali, ma la comunicazione tra computer resta molto più lenta dell’accesso alla memoria locale e con l’aumentare dei nodi possono crescere i tempi di sincronizzazione tra le GPU. I modelli occupano spazio non solo con i pesi ma anche con la KV cache, che conserva le informazioni già elaborate per non ricalcolarle, oltre alle attivazioni e alle strutture temporanee. La quantizzazione a 4 o 8 bit alleggerisce parecchio il carico sacrificando un po’ di precisione. Per i modelli più piccoli aggiungere Mac potrebbe quindi non ripagare i costi.

Privacy e alternative già sul mercato

Claris insiste molto sulla privacy. Prompt e dati resterebbero sui computer dell’utente senza passare dai servizi cloud, un aspetto che interessa aziende, sviluppatori e professionisti alle prese con documenti riservati. Il concetto in sé non è inedito, visto che Exo consente già di distribuire modelli tra più dispositivi e LM Studio offre un’interfaccia semplice per gestire quelli locali. La proposta di Claris sembra voler unire la facilità d’uso del secondo con le capacità di clustering del primo, mentre sulla data di debutto non ci sono ancora informazioni.

Fonte: TecnoAndroid

Condividi:
19 Condivisioni