Un pastore statunitense ha portato in tribunale OpenAI dopo aver ricevuto quelle che definisce “raccomandazioni mediche estremamente pericolose” da ChatGPT. Secondo quanto emerge dalla causa, il chatbot avrebbe ritardato le cure necessarie per una serie di embolie polmonari, dicendo a Scott Winters che i sintomi descritti “non erano qualcosa di pericoloso”. C’è di più, e fa un certo effetto. Il software avrebbe fatto leva sulle sue convinzioni religiose, arrivando a scrivergli che “Dio non ha progettato il tuo corpo per fallire all’infinito”.
La denuncia accusa l’azienda e il suo amministratore delegato Sam Altman di negligenza e di “esercizio non autorizzato della professione medica”. Nel documento vengono citati diversi momenti in cui il chatbot avrebbe formulato diagnosi e piani di cura di propria iniziativa. E qui la questione si fa spinosa, perché ChatGPT avrebbe anche suggerito a Winters di ignorare le richieste di amici e familiari che lo spingevano a rivolgersi a un vero medico.
“Si inserisce come un cuneo tra l’utente e la sua rete di persone reali”, ha spiegato Meetali Jain, co avvocato e direttrice esecutiva di Tech Justice Law. Un punto che nella causa emerge con forza. Winters sostiene di aver detto al chatbot che “le persone della mia chiesa pensano che sia pazzo a non andare in ospedale”. La risposta, stando alle carte, sarebbe stata che “la maggior parte delle persone, compresi i membri della chiesa pieni di buone intenzioni, semplicemente non capisce”.
Le richieste in tribunale e le altre cause aperte
L’uomo chiede un risarcimento economico, ma non si ferma lì. Vuole che il tribunale sospenda il funzionamento di ChatGPT Health finché valutatori indipendenti non ne certifichino la sicurezza. Si tratta della piattaforma che invita gli utenti a caricare documenti sanitari per discuterne con il chatbot. La causa chiede inoltre paletti più solidi, così da impedire al software di rispondere a domande su trattamenti e diagnosi specifiche. Qualche protezione dovrebbe già esistere, ma stando alla denuncia in questo caso non ha funzionato come previsto.
OpenAI ha ribadito che i termini di servizio di ChatGPT chiariscono come lo strumento non sia pensato per diagnosi o cure mediche. Eppure l’azienda spinge gli utenti a caricare le cartelle cliniche proprio su ChatGPT Health, per avviare un confronto con il bot. E c’è un dato che l’azienda ripete spesso con un certo orgoglio, cioè che 230 milioni di persone ogni settimana usano la piattaforma per questioni legate alla salute. Sembra un terreno parecchio scivoloso, perché ChatGPT imita gli esseri umani in un modo che una semplice ricerca su Google non ha.
Winters è sopravvissuto, ma dovrà affrontare “anni di intenso recupero fisico e psicologico“. E non è l’unico fronte aperto. L’azienda deve fare i conti con una causa per omicidio colposo legata alla morte di un diciannovenne, andato in overdose dopo aver seguito, sempre secondo le accuse, un piano di trattamento creato dal chatbot. Quel piano avrebbe incluso indicazioni su come assumere droghe illegali. Anche in quel caso viene chiesta la sospensione di ChatGPT Health. E c’è poi un’altra denuncia per omicidio colposo che accusa il chatbot di aver favorito il suicidio di un adolescente.