Vai al contenuto
Offerte

Peer review e intelligenza artificiale: due revisioni identiche

In questo articolo Indice dei contenuti 2 sezioni

Le revisioni scientifiche scritte dall’intelligenza artificiale stanno mettendo in difficoltà la peer review, cioè il sistema con cui la ricerca stabilisce che cosa merita di essere pubblicato. Troppi articoli, revisori volontari e sovraccarichi, la corsa a pubblicare per fare carriera. Con l’arrivo di piattaforme come ChatGpt e Claude il quadro è cambiato parecchio, e anche in fretta. Da mesi le riviste scientifiche segnalano commenti problematici, soprattutto sulla metodologia. Sono lunghi, pieni di punti e a prima vista sembrano precisi. A una lettura più attenta e più «umana» però si rivelano ridondanti, generici nonostante la struttura impeccabile, sofisticati nella forma ma inutili per migliorare il lavoro. Dietro molte di queste note non c’è una persona ma una macchina.

Giovanni Tripepi, epidemiologo del CNR di Reggio Calabria, e Maria Fusaro, nefrologa dello stesso ente che studia i disordini del metabolismo osseo nell’insufficienza renale e non solo, lo hanno sperimentato direttamente. Collaborano da quasi vent’anni e i loro gruppi, tra Reggio Calabria e Padova, firmano circa 40 articoli l’anno. Di recente hanno inviato un lavoro a una rivista internazionale e si sono visti restituire due valutazioni identiche. «Evidentemente i due revisori hanno usato la stessa intelligenza artificiale» racconta Tripepi, che ha scritto all’editore segnalando una violazione etica. «Le revisioni devono essere indipendenti, e un autore non può sostenere un colloquio con una macchina». L’editor ha risposto che non avrebbe considerato quei pareri e che avrebbe cercato nuovi valutatori, ammettendo di fatto, secondo l’epidemiologo, che erano stati prodotti dall’AI. I due ricercatori precisano di non essere contrari all’uso di questi strumenti, purché vengano impiegati nel contesto giusto e nel modo opportuno.

Revisori travolti e pubblicazioni in crescita

La revisione tra pari funziona così. Prima della pubblicazione un testo viene esaminato da esperti dello stesso campo, che ne cercano errori e debolezze e chiedono correzioni. I revisori non sono pagati e lavorano nel tempo sottratto a ricerca e didattica, con la promessa implicita che altri faranno lo stesso per loro. A incrinare questo patto è stata la quantità. Il cosiddetto publish or perish esisteva già, e in India per insegnare bisogna dimostrare di aver pubblicato su una rivista. Poi sono arrivati i chatbot. Un’analisi di Science di un anno fa su oltre due milioni di preprint mostra che, dopo la diffusione di ChatGpt, la produzione degli autori che sembrano usare l’AI è cresciuta tra il 23,7% e l’89,3% a seconda del settore. In parte è un fenomeno legittimo, perché molti scienziati non anglofoni rendono così più presentabili i propri studi. Gli stessi strumenti però danno un’aria credibile anche a ricerche scadenti. Charlotte Beaudart, ricercatrice in scienze biomediche all’Università di Namur, riceve fino a una ventina di inviti al giorno e ne rifiuta fino al 90%.

Travolti, molti valutatori hanno preso la stessa scorciatoia degli autori. Un sondaggio dell’editore Frontiers dello scorso dicembre su circa 1.600 ricercatori in 111 Paesi, Italia compresa, indica che più della metà usa l’AI per giudicare gli articoli e quasi uno su quattro ne ha aumentato l’uso nell’ultimo anno. Tra loro il 59% la sfrutta per scrivere il rapporto di revisione, spesso contro le regole. «Le revisioni fatte con l’AI sono piene di osservazioni spesso irrilevanti» spiega Fusaro, e adeguarsi rende i testi pesanti per un pubblico di medici. Su temi con pochi dati disponibili, come la vitamina K di cui si occupa, interrogare questi sistemi porta a risposte non corrette. Anche le referenze risultano spesso inesistenti o sbagliate. Uno studio guidato dalla Columbia University e pubblicato su Pnas ha esaminato 21,6 milioni di riferimenti in 500 mila articoli di chimica, fisica, scienza dei materiali, ingegneria e informatica usciti tra gennaio 2023 e marzo 2026. Ne sono emersi 1.135, distribuiti su 619 articoli, impossibili da verificare in sette fonti bibliografiche e web.

Tempi, editor e regole aggirate

Poi c’è la questione dei tempi. Fino a pochi mesi fa rispondere a una revisione richiedeva due o tre giorni, mentre oggi le richieste di dettagli inutili allungano tutto. Per uno score clinico pensato per un uso su larga scala, racconta Tripepi, il gruppo è stato costretto a inserire formule, equazioni e coefficienti esponenziali che complicano soltanto la lettura ai medici. Al revisore che si affida a un chatbot invece bastano pochi minuti. «Se un revisore scarica il Pdf e dopo mezz’ora o un’ora carica la review, è chiaro che l’ha fatta fare all’AI». Quest’anno una rivista rimasta anonima ha portato il caso al Cope, l’organismo internazionale per l’etica editoriale, segnalando commenti che indicavano errori assenti nel manoscritto e risultavano generati dall’AI per oltre l’80%.

Un ruolo cruciale spetta all’editor, che sceglie i revisori, legge i pareri e decide se pubblicare. Alcuni però inviano lettere aspecifiche, accettando elenchi lunghissimi di richieste. Così vengono penalizzati i gruppi senza grandi risorse, e non pochi rinunciano a quella rivista. Le regole esistono. Jama vieta l’AI ai revisori, Springer Nature chiede di non caricare i manoscritti sui chatbot per motivi di riservatezza e la maggior parte degli editori ne consente un uso limitato purché dichiarato. Molti però non lo dichiarano, e i software di rilevamento non sono sempre affidabili. C’è già chi ne approfitta. Nel 2025 Nature ha verificato una pratica segnalata da Nikkei Asia: diciotto preprint, con autori di 44 istituzioni in 11 Paesi, contenevano istruzioni nascoste, scritte anche in bianco su sfondo bianco.

Fonte: TecnoAndroid

Condividi:
100 Condivisioni