Vai al contenuto
Offerte

OpenAI e COBOL: GPT-6 Astra supera l’87% dei test di codice

In questo articolo Indice dei contenuti 2 sezioni

OpenAI vuole aiutare le banche e le grandi aziende a modernizzare i sistemi ancora basati su COBOL, il linguaggio di programmazione storico che pochi conoscono davvero ma che continua a far funzionare una parte enorme dei servizi finanziari. La società ha annunciato nuovi progressi dei propri modelli nella scrittura e nella migrazione del codice realizzato con linguaggi come COBOL, Fortran e Visual Basic. Sono tecnologie più complicate da gestire rispetto a quelle moderne perché il codice e la documentazione disponibili per l’addestramento sono molto più scarsi.

I numeri citati da OpenAI fanno capire bene il peso della questione. COBOL è presente in oltre il 40% dei sistemi di online banking, nell’80% delle transazioni con carta di credito effettuate nei negozi fisici e addirittura nel 95% delle operazioni agli sportelli automatici. Altro che software marginale. Parliamo di programmi la cui manutenzione resta indispensabile per servizi che milioni di persone usano ogni giorno senza nemmeno pensarci.

Il nodo è che tenere in piedi queste piattaforme costa caro. Passare a linguaggi più recenti può richiedere da milioni a centinaia di milioni di euro, oltre a tempi di lavoro piuttosto lunghi. In più i programmatori specializzati in COBOL stanno invecchiando e nei prossimi anni trovare le competenze giuste potrebbe diventare sempre più difficile. La documentazione spesso è incompleta, chi ha scritto il codice originale magari non lavora più in azienda e certe regole di business esistono soltanto dentro i programmi stessi. Modernizzare senza introdurre errori, specie quando ci sono di mezzo operazioni finanziarie, è tutt’altro che banale.

GPT-6 Astra e il banco di prova MultiLangBench

Per misurare i passi avanti dei suoi modelli OpenAI ha sviluppato MultiLangBench, una suite di valutazione che chiede di costruire da zero un motore di database compatibile con SQLite usando 20 linguaggi di programmazione diversi. Il sistema deve gestire il codice sorgente, mantenere lo stato del programma, affrontare gli errori e aggiungere funzioni nuove senza rompere quelle già presenti. Al programma vengono forniti un database iniziale e una query SQL, poi il risultato viene confrontato con quello dell’implementazione di riferimento di SQLite. Così il funzionamento si può verificare a prescindere dal linguaggio scelto.

I risultati segnano un salto netto. GPT-6 Astra raggiunge una percentuale media di superamento dei test dell’87,4% sui 20 linguaggi, contro il 26,8% di GPT-5.6 Sol. Il miglioramento riguarda tutte le tecnologie esaminate, anche quelle meno diffuse nei progetti attuali. COBOL rimane comunque l’osso più duro. Qui Astra si ferma al 72,1%, partendo però dal 10,9% del modello precedente. Va meglio con Fortran, all’83,5%, e con Visual Basic, all’89,4%, mentre in 19 linguaggi su 20 la soglia dell’83% viene superata.

C’è poi GPT-6 Luna, un’alternativa più economica che arriva a una media del 40,3%. Secondo le stime dell’azienda il costo medio dell’API per campione scende a circa 0,66 euro, contro i circa 3 euro di GPT-5.6 Sol, con una riduzione intorno al 78%. Un dettaglio tutt’altro che secondario per chi deve valutare l’uso dell’intelligenza artificiale nello sviluppo e nella manutenzione su larga scala.

Tradurre COBOL senza cambiare nemmeno un decimale

La seconda prova è ancora più vicina alle esigenze delle banche. Si tratta di capire se un modello riesca a trasferire programmi COBOL in linguaggi moderni come C++, Java, Kotlin, Python o Rust mantenendo esattamente lo stesso comportamento. Non basta che il programma giri senza errori evidenti. Nei sistemi finanziari anche una piccola differenza nel trattamento dei dati può cambiare i risultati. OpenAI porta l’esempio dell’aritmetica a virgola fissa di COBOL, che elimina le cifre decimali in eccesso se l’arrotondamento non viene richiesto in modo esplicito. Una migrazione che applichi una regola diversa potrebbe filare liscia sul piano tecnico e restituire comunque importi diversi da quelli previsti.

Per evitarlo l’azienda usa test nascosti che pretendono una corrispondenza byte per byte degli output osservabili, e la migrazione è considerata riuscita solo se li supera tutti. In questo scenario GPT-6.1 Sol raggiunge un’accuratezza dell’86,6% con un basso sforzo di ragionamento, contro appena il 5,4% di GPT-5.6 Sol nelle stesse condizioni, con un costo dell’API inferiore del 39%. Alzando lo sforzo di ragionamento si arriva al 97,9%.

OpenAI precisa che questi progressi non eliminano le verifiche approfondite. L’uso in produzione richiede ancora la revisione di esperti e test sulle regole aziendali e sulle dipendenze con gli altri sistemi. L’obiettivo dichiarato è ampliare le capacità dei modelli nell’ingegneria del software, dalla comprensione di repository sconosciuti alla pianificazione delle modifiche fino all’esecuzione dei test e alla risoluzione dei problemi. Intanto l’azienda sta pubblicando su GitHub la configurazione di valutazione e la suite di test di MultiLangBench, insieme ai risultati ottenuti per ciascun linguaggio, così che gli sviluppatori possano esaminare i criteri adottati.

Fonte: TecnoAndroid

Condividi:
155 Condivisioni