L’impatto dell’intelligenza artificiale sul settore della programmazione è uno dei temi più discussi in ambito tecnologico, con implicazioni che stanno cambiando il panorama del lavoro per i programmatori. Ma cosa succede quando l’intelligenza artificiale stessa viene sfidata a programmare? Un recente studio pubblicato su IEEE Transactions on Software Engineering ha esaminato proprio questa domanda, utilizzando GPT-3.5 come protagonista per risolvere problemi di coding su LeetCode, una piattaforma di test ampiamente riconosciuta.
Le risoluzioni dei problemi da parte di ChatGPT
I ricercatori hanno affrontato 728 problemi di programmazione, suddivisi in cinque linguaggi principali: C, C++, Java, JavaScript e Python. I risultati hanno mostrato che ChatGPT, sebbene dotato di capacità notevoli, ha mostrato prestazioni variabili a seconda della difficoltà del problema. Il chatbot è riuscito a risolvere i problemi di facile comprensione nell’89% dei casi, mentre per quelli di media difficoltà la percentuale è scesa al 71%. Per i problemi difficili, tuttavia, la percentuale di successo è stata del 40%, segnalando una significativa sfida per l’intelligenza artificiale in questo ambito specifico.
Il confronto con i dati del 2021 rivela un miglioramento nelle capacità di ChatGPT: l’anno scorso, le percentuali di successo erano significativamente inferiori, con un 52% per i problemi facili, un 40% per quelli di media difficoltà e solo lo 0,66% per quelli difficili. Questo indica un progresso sostanziale nell’adattamento delle capacità di risoluzione dei problemi del chatbot nel corso del tempo.
Yutian Tang, uno dei ricercatori coinvolti nello studio, ha riconosciuto che ChatGPT presenta limitazioni nel comprendere il significato delle domande, specialmente per i problemi di livello più semplice. Il chatbot ha comunque dimostrato una certa abilità nel correggere gli errori umani nel codice e nel generare soluzioni che, sebbene non prive di errori, erano spesso facilmente correggibili.
un’intelligenza artificiale ancora da migliorare
In particolare, il codice generato da ChatGPT è stato valutato come più complesso quando scritto in linguaggio C, seguito da C++ e Python, che hanno mostrato una complessità simile a quella del codice umano. Questo suggerisce che l’intelligenza artificiale sta compiendo passi significativi nel comprendere e generare codice, ma le sfide rimangono soprattutto nei contesti di problemi complessi e nella comprensione del contesto delle domande.