Negli ultimi mesi il dibattito sui sistemi conversazionali intelligenti, i cosiddetti chatbot AI, è tornato prepotentemente al centro dell’attenzione. C’è entusiasmo, certo, ma anche un po’ di prudenza. E ora arriva uno studio che smonta, o quantomeno mette alle strette, alcune speranze troppo facili.
Cosa ha rivelato la ricerca di Oxford
Gli studiosi dell’Università di Oxford hanno messo sotto la lente i cosiddetti chatbot basati su IA, valutando se le risposte fornite potessero effettivamente aiutare le persone a prendere decisioni migliori sulla propria salute. Il risultato è, per usare un eufemismo, poco rassicurante. Secondo il rapporto, l’uso di questi strumenti non ha migliorato in modo significativo le decisioni sanitarie degli utenti e, in alcuni casi, ha addirittura generato indicazioni fuorvianti o palesemente sbagliate. Tradotto: non solo non aumentano la qualità delle scelte, ma possono anche peggiorarla.
Perché succede? In parte per il modo in cui sono addestrati questi modelli. I grandi modelli linguistici, noti anche come LLM, apprendono da enormi quantità di testo raccolto in rete. Questo è potente, ma non è sinonimo di comprensione clinica. Possono sintetizzare informazioni, imitare toni autorevoli, e perfino confezionare risposte convincenti. E qui sta il problema: una risposta convincente non è sempre una risposta corretta. I cosiddetti errori di allucinazione, o affermazioni infondate presentate come fatti, sono rischi concreti. Il risultato? consigli medici errati che, se seguiti, possono mettere a rischio la salute.
Non serve essere cinici per vederci una falla. Pensate a una persona preoccupata, magari di notte, sola con il suo smartphone. Cercherà una risposta veloce, userà il primo chatbot disponibile, e potrebbe fidarsi della risposta perché suona professionale. Ma fidarsi non significa verificare. E in medicina la verifica è tutto.
Perché tutto questo ci riguarda e che strada prendere
Questo studio non è un anatema contro la tecnologia. Piuttosto è un campanello d’allarme. La tecnologia può essere utile quando accompagna un processo decisionale, non quando lo sostituisce. I chatbot possono aiutare a orientarsi, a raccogliere informazioni preliminari, a spiegare concetti con parole semplici. Ma la cura, la diagnosi, la scelta di trattamenti e farmaci richiedono competenze cliniche, esperienza e responsabilità. Quando c’è una discrepanza tra le risposte automatiche e il giudizio medico, la bilancia deve pendere verso il clinico.
Da questo punto di vista le implicazioni sono chiare. Primo: serve una regolamentazione più stringente che definisca limiti e responsabilità. Secondo: le piattaforme devono implementare meccanismi di trasparenza più robusti, chiarendo la fonte delle informazioni e i margini di incertezza. Terzo: è indispensabile istruire gli utenti a non sostituire il consulto medico con una chat, e a riconoscere segnali di allerta quando una risposta appare troppo sicura senza prove.
Infine, una sfida pratica per ricercatori e sviluppatori. Come migliorare l’affidabilità senza smorzare l’utilità? Soluzioni possibili esistono: integrare dati clinici validati, creare interfacce che richiedano conferme e passaggi di verifica, e soprattutto sviluppare algoritmi che segnalino quando non sanno abbastanza per dare una risposta affidabile. Poi c’è la responsabilità etica: progettare sistemi che ammettano i propri limiti, non che fingano competenza.
