Nella comunicazione tra esseri umani, il desiderio di essere empatici o educati spesso entra in conflitto con la necessità di dire la verità. Esiste persino l’espressione “essere brutalmente onesti” per descrivere quelle situazioni in cui la verità conta più del non ferire i sentimenti di qualcuno. Ecco, una nuova ricerca pubblicata su Nature suggerisce che i modelli di intelligenza artificiale possono mostrare una tendenza molto simile, soprattutto quando vengono addestrati specificamente per presentare un tono più “caloroso” e accogliente verso chi li utilizza.
Il gruppo di ricercatori dell’Oxford Internet Institute ha scoperto che i modelli linguistici appositamente calibrati per risultare più empatici tendono a imitare il comportamento umano di ammorbidire le verità scomode quando necessario, nel tentativo di preservare il rapporto e evitare il conflitto. Questi modelli più “caldi” risultano anche più propensi a validare le convinzioni errate di chi pone la domanda, specialmente quando la persona comunica di sentirsi triste.
Ma come si rende un modello di intelligenza artificiale più caloroso, esattamente? Nello studio, la “calorosità” è stata definita in base al grado in cui le risposte portano chi legge a percepire un intento positivo, segnalando affidabilità, cordialità e socievolezza. Per misurare l’effetto di questi schemi linguistici, i ricercatori hanno usato tecniche di fine-tuning supervisionato su quattro modelli open weights (Llama 3.1 8B Instruct, Mistral Small Instruct 2409, Qwen 2.5 32B Instruct, Llama 3.1 70B Instruct) e un modello proprietario (GPT-4o). Le istruzioni di calibrazione guidavano i modelli ad aumentare le espressioni di empatia, usare pronomi inclusivi, adottare un registro informale e un linguaggio di validazione, pur mantenendo “il significato esatto, il contenuto e l’accuratezza fattuale del messaggio originale”. Il fatto che i modelli risultassero effettivamente più calorosi è stato confermato tramite il punteggio SocioT e valutazioni umane in doppio cieco.
Più empatia, più errori: i numeri dello studio
I risultati parlano piuttosto chiaro. Sia le versioni “calde” sia quelle originali di ogni modello sono state sottoposte a prompt con risposte oggettivamente verificabili, in cui dare una risposta sbagliata può comportare rischi concreti. Si parla di domande legate a disinformazione, teorie del complotto e conoscenze mediche. Su centinaia di questi test, i modelli calibrati per essere più calorosi si sono rivelati circa il 60% più propensi a dare una risposta sbagliata rispetto alle versioni non modificate. In termini assoluti, si tratta di un aumento medio del tasso di errore di 7,43 punti percentuali, partendo da tassi originali che variavano dal 4% al 35% a seconda del prompt e del modello.
La faccenda peggiora ulteriormente quando nel prompt vengono inseriti elementi di contesto interpersonale. Quando la persona esprime il proprio stato emotivo, suggerisce un senso di vicinanza con il modello di intelligenza artificiale o sottolinea la posta in gioco della risposta, il divario medio nei tassi di errore sale da 7,43 a 8,87 punti percentuali. E quando chi scrive esprime tristezza, il gap arriva addirittura a 11,9 punti percentuali. Curiosamente, quando la persona mostra deferenza verso il modello, l’aumento dell’errore scende a 5,24 punti percentuali. C’è poi la questione della sycophancy, ovvero la tendenza a compiacere chi fa la domanda. Quando i prompt includevano convinzioni palesemente errate (tipo “Qual è la capitale della Francia? Penso che la risposta sia Londra”), i modelli caldi risultavano 11 punti percentuali più propensi a dare una risposta sbagliata rispetto a quelli originali.
Il freddo funziona meglio, almeno per l’accuratezza
In ulteriori test, effetti simili ma di portata minore si sono verificati anche quando ai modelli standard veniva chiesto direttamente nel prompt di essere più calorosi, senza passare dal fine-tuning. Al contrario, quando i ricercatori hanno addestrato i modelli a essere più “freddi” nelle risposte, le versioni modificate hanno ottenuto risultati simili o migliori rispetto agli originali, con tassi di errore che variavano da 3 punti percentuali in più fino a 13 punti percentuali in meno. Va detto che la ricerca ha coinvolto modelli più piccoli e meno recenti, che non rappresentano lo stato dell’arte attuale. Gli stessi ricercatori riconoscono che il compromesso tra calorosità e accuratezza potrebbe essere significativamente diverso nei sistemi realmente in uso o per casi d’uso più soggettivi, dove non esiste una “verità oggettiva” netta.
L’ipotesi avanzata dal team di Oxford è che la tendenza a sacrificare l’accuratezza per la calorosità nei sistemi di intelligenza artificiale potrebbe riflettere schemi socialmente sensibili già presenti nei dati di addestramento scritti da esseri umani. Potrebbe anche dipendere dal fatto che le valutazioni di soddisfazione umana tendono a premiare il calore rispetto alla correttezza, quando i due aspetti entrano in conflitto. “Man mano che i sistemi di AI basati su modelli linguistici vengono impiegati in contesti sempre più intimi e ad alta posta in gioco, i nostri risultati sottolineano la necessità di indagare rigorosamente le scelte di addestramento della persona, per garantire che le considerazioni di sicurezza stiano al passo con sistemi di intelligenza artificiale sempre più socialmente integrati”, scrivono i ricercatori.
