LiteRT

iteRT.js è la nuova mossa di Google per spostare l'intelligenza artificiale dentro il browser, senza passare per il cloud. Una libreria open source che permette di far girare modelli AI direttamente su Chrome, sfruttando l'hardware del dispositivo. Il punto è semplice: eseguire l'inferenza in locale significa meno attese, più privacy e la possibilità di lavorare anche quando la connessione manca del tutto. Il progetto raccoglie l'eredità di TensorFlow Lite, che oggi si chiama LiteRT, e la porta sul Web con un'idea precisa in testa. Offrire un runtime unico che funzioni allo stesso modo su mobile, desktop e browser. Le ragioni dietro questa scelta sono piuttosto concrete e attuali. Ridurre la latenza, evitare che dati sensibili viaggino avanti e indietro verso i server, garantire che le applicazioni continuino a funzionare anche offline. Cosa fa davvero LiteRT.js In pratica LiteRT.js è il runtime pensato per il Web all'interno della piattaforma LiteRT. Il suo compito è caricare ed eseguire nel browser i modelli salvati nel formato .tflite. Google lo distribuisce come pacchetto NPM e ne prevede anche l'uso tramite CDN, con componenti WebAssembly e un'integrazione costruita apposta per sfruttare l'accelerazione hardware quando c'è. Tradotto per chi sviluppa, il vantaggio è che si può lavorare con un formato coerente lungo tutta la catena. Nessun cambio di paradigma quando si passa dal training, o dalla conversione, all'esecuzione sul web. E c'è di più: LiteRT.js regge modelli che arrivano da PyTorch, JAX e TensorFlow. Questo rafforza l'idea di una piattaforma comune, più facile da mantenere e da inserire nei flussi di lavoro già esistenti senza troppi mal di testa. Accelerazione, compatibilità e impatto sul Web Uno degli aspetti che pesa di più è la presenza di diversi backend di esecuzione. Quando browser e hardware lo permettono, il runtime può appoggiarsi a WebGPU per accedere alla GPU e spingere sulle prestazioni dell'inferenza. Google segnala anche il supporto a WebNN, la tecnologia che punta a usare le unità dedicate all'AI presenti nei chip più recenti. Quando invece questi strumenti non ci sono, LiteRT.js scende automaticamente su CPU e WebAssembly con XNNPack. Così la compatibilità resta ampia anche sui sistemi meno recenti. Un'architettura del genere lo rende adatto sia agli esperimenti sia alle applicazioni con requisiti seri di affidabilità. L'interesse attorno a questa libreria, però, non è solo questione di tecnica. C'è anche il modo in cui potrebbe cambiare lo sviluppo delle applicazioni AI sul Web. Eseguire i modelli in locale riduce la dipendenza dai servizi remoti e semplifica la costruzione di strumenti che maneggiano dati personali o sensibili.

LiteRT

LiteRT.js: Google porta l’AI dentro Chrome senza cloud