In questo articolo Indice dei contenuti 3 sezioni
Con Android Bench 2.0 Google alza l’asticella e cambia il modo in cui misura le capacità dei modelli di intelligenza artificiale applicati allo sviluppo Android. La nuova versione del benchmark, presentata il 17 settembre 2026, abbandona le piccole correzioni di codice per concentrarsi su quelli che vengono definiti long-horizon tasks, ovvero lavori che a un ingegnere umano richiederebbero diversi giorni, in certi casi anche una settimana intera. Un salto di prospettiva che, numeri alla mano, ridimensiona parecchio l’entusiasmo sulle prestazioni dei modelli più avanzati.
La prima versione del benchmark si limitava a valutare modifiche incrementali su repository già esistenti, quindi bug fix e richieste di funzionalità di dimensioni contenute. Roba utile, ma lontana da quello che significa costruire software vero. Adesso il campo di gioco si allarga e comprende l’aggiunta di funzioni complesse, la creazione di app partendo da zero e la conversione di applicazioni cross platform verso Android.
Android Bench 2.0: dal voto secco alla valutazione continua
Il cambio di scenario ha imposto anche un cambio di metro. Con compiti così articolati non bastava più il classico passato o bocciato, così Google è passata da un sistema binario a un punteggio continuo che tiene conto di più fattori insieme. Entrano nel calcolo la funzionalità effettiva del risultato, la fedeltà visiva e la capacità di non introdurre regressioni, cioè di non rompere quello che già funzionava. A questo si aggiungono penalità oggettive quando un modello si allontana dalle istruzioni di valutazione o ignora i vincoli strutturali imposti dal test.
I numeri che escono da questo approccio sono decisamente più severi. Nella lista dei modelli passati al vaglio figurano Gemini 3.7 e 3.8 Flash, OpenAI GPT-6, Anthropic Fable 5.1, Kimi K3 e Qwen 3.8 Max. In testa alla classifica si piazza GPT-6 Astra con un tasso di successo del 28%, un dato che fa impressione se si pensa che con il vecchio metodo di valutazione i punteggi viaggiavano intorno al 90%. Non è che i modelli siano peggiorati, semplicemente ora vengono misurati su terreni molto più difficili.
Dove i modelli funzionano e dove inciampano
Le osservazioni raccolte da Google raccontano parecchio su cosa sappiano fare davvero questi sistemi. La conversione di app cross platform verso Android resta una sfida aperta, perché nessun modello raggiunge il 100% di successo e i migliori si fermano a un tasso di completamento dell’80% al massimo. C’è poi una differenza netta tra scrivere codice nuovo e mettere mano a codice già scritto, con i modelli che se la cavano meglio nella prima attività. Refactoring e migrazioni si rivelano più insidiosi, e il motivo è interessante, perché il successo dipende dalla complessità architetturale più che dalla quantità di righe da gestire.
Su alcune trasformazioni ben definite e deterministiche le prestazioni sono invece solide. Convertire Java in Kotlin, sostituire Retrofit con Ktor o introdurre un livello ViewModel sono operazioni che i modelli gestiscono con una certa sicurezza. Le cose si complicano quando serve una validazione a runtime, per esempio in presenza di grafi di dependency injection mancanti, oppure quando entrano in gioco modifiche ai framework che rompono la compatibilità. Altro punto critico riguarda le librerie non ancora rilasciate, dove emergono vuoti di conoscenza evidenti.
Il ruolo degli agenti nella valutazione
Un capitolo a parte è dedicato alle valutazioni degli agenti. Android Bench ha eseguito i test utilizzando gli agenti forniti dai rispettivi provider dei modelli, quindi per esempio Gemini 3.8 Flash su Google Antigravity e GPT-5.6 Sol insieme a Codex. La conclusione tratta da Google è che il design dell’infrastruttura attorno al modello, la cosiddetta harness, ha un impatto positivo sui risultati ottenuti da chi sviluppa. Per le prossime iterazioni il benchmark punta a includere combinazioni diverse di modelli e agenti, allargando ulteriormente il ventaglio dei confronti possibili.
Fonte: TecnoAndroid
