meta-analisi

Lo studio su ChatGPT e apprendimento che aveva fatto il giro dei social media, accumulando centinaia di citazioni e quasi mezzo milione di lettori, è stato ufficialmente ritirato. L'editore Springer Nature ha pubblicato un avviso di retrazione il 22 aprile 2026, quasi un anno dopo la pubblicazione originale, citando "discrepanze" nella meta-analisi e una perdita di fiducia nella validità delle conclusioni raggiunte dai ricercatori. Il paper, apparso per la prima volta sulla rivista Humanities & Social Sciences Communications il 6 maggio 2025, tentava di quantificare l'effetto di ChatGPT sulle performance di apprendimento degli studenti, sulla percezione dell'apprendimento e sul pensiero critico di ordine superiore. Per farlo, gli autori avevano analizzato i risultati di 51 studi precedenti, confrontando gruppi sperimentali che avevano usato il chatbot di OpenAI in ambito educativo con gruppi di controllo che non lo avevano fatto. Le conclusioni erano piuttosto roboanti: ChatGPT avrebbe avuto "un grande impatto positivo sul miglioramento delle performance di apprendimento", oltre a un "impatto moderatamente positivo" sulla percezione e sul pensiero critico. Affermazioni che hanno fatto rumore, e parecchio. Ben Williamson, docente senior presso il Centre for Research in Digital Education e l'Edinburgh Futures Institute dell'Università di Edimburgo, ha spiegato che il paper era stato trattato da molti sui social come una delle prime prove solide, quasi da "gold standard", del fatto che ChatGPT e l'intelligenza artificiale generativa in generale potessero davvero aiutare chi studia. I problemi della meta-analisi e le critiche degli esperti Il punto è che quelle conclusioni poggiavano su basi fragili. Secondo Williamson, lo studio in alcuni casi sembrava sintetizzare ricerche di qualità molto bassa, oppure metteva insieme risultati provenienti da studi con metodi, popolazioni e campioni troppo diversi per poter essere confrontati in modo accurato. "Sembrava davvero un paper che non avrebbe dovuto essere pubblicato fin dall'inizio", ha dichiarato. C'è anche una questione di tempistica. ChatGPT è stato rilasciato da OpenAI a novembre 2022, e lo studio è uscito circa due anni e mezzo dopo. Per Williamson, non è realistico pensare che in quel lasso di tempo potessero essere stati condotti, sottoposti a revisione paritaria e pubblicati decine di studi di alta qualità sull'effetto del chatbot sull'apprendimento. Non era l'unico a nutrire dubbi. Già al momento della pubblicazione, Ilkka Tuomi, capo scienziato dell'istituto di ricerca Meaning Processing Ltd., aveva segnalato su LinkedIn le insidie di meta-analisi che pretendono di "trarre conclusioni da esiti incompatibili e mal definiti", partendo da esperimenti che coinvolgono popolazioni molto diverse. "L'unica ragione per fare questi studi sembra essere che la statistica e gli strumenti di meta-analisi possono sfornare numeri che hanno l'aspetto della scienza", aveva scritto Tuomi. Un'eredità difficile da cancellare Il danno, però, potrebbe essere già fatto. Lo studio su ChatGPT ha raccolto 262 citazioni in altri paper pubblicati su riviste peer-reviewed di Springer Nature, e un totale di 504 citazioni considerando anche fonti non sottoposte a revisione paritaria. In termini di attenzione online, si è piazzato nel 99° percentile tra tutti gli articoli di riviste scientifiche. Il problema, come ha sottolineato Williamson, è il meccanismo della circolazione sui social: tutti i dettagli e le sfumature dello studio vengono eliminati, e restano solo le affermazioni principali, amplificate e rilanciate. Il risultato è che la scoperta di fondo, cioè che ChatGPT aiuterebbe le performance di apprendimento, rischia di persistere nella percezione comune nonostante la retrazione. Anche perché, nella nota di ritiro, Springer Nature ha specificato che gli autori del paper non hanno risposto alla corrispondenza riguardante la retrazione stessa. Williamson ha definito tutto questo "enormemente frustrante" per chi sta cercando di capire davvero cosa significhi l'intelligenza artificiale per l'insegnamento e l'educazione. "Abbiamo avuto diversi anni di hype sull'IA nell'istruzione, ma ciò di cui abbiamo davvero bisogno è ricerca di alta qualità che possa mostrarci concretamente quali impatti l'IA sta avendo nelle aule e nelle pratiche di apprendimento." Nel frattempo, molti insegnanti stanno cercando di adattare le proprie lezioni per contrastare il ricorso all'IA da parte degli studenti, e almeno un paese ha scelto di tornare ai libri fisici e all'uso di carta e penna.

meta-analisi

ChatGPT nell’istruzione: lo studio che tutti citavano è stato ritirato