In questo articolo Indice dei contenuti 2 sezioni
Un recente studio di Anthropic mostra quanto l’intelligenza artificiale riesca a orientare le scelte persino di chi il mestiere lo conosce bene. Alcuni esperti di analisi statistica, messi a lavorare con un agente basato su un Llm, hanno seguito i suggerimenti metodologici della macchina nell’86% dei casi. Letto così sembra un verdetto senza appello, come se anche gli specialisti finissero per consegnare il proprio giudizio agli algoritmi. Basta però aprire il cofano dell’esperimento per accorgersi che il quadro è un po’ più complicato.
I ricercatori hanno coinvolto 50 analisti professionisti e hanno chiesto loro di valutare l’efficacia di un programma di consulenza agricola. Per arrivare a una conclusione dovevano prendere diverse decisioni, dalla scelta degli indicatori statistici fino alla selezione delle aziende da includere nell’analisi. Ogni passaggio prevedeva due alternative entrambe ragionevoli sul piano del metodo. Senza che i partecipanti lo sapessero, gli agenti erano stati istruiti a sostenere una delle due opzioni, estratta a caso, argomentando a suo favore ma senza mai alterare i dati.
Cosa raccontano davvero i numeri dello studio Anthropic
Alla fine gli analisti hanno seguito molto spesso le indicazioni dell’agente, e questo rafforza l’ipotesi che le preferenze di un sistema artificiale possano pesare sulle decisioni di chi lo usa. Il disegno sperimentale ha un pregio evidente perché permette di individuare un effetto causale. Va detto però che gli agenti erano configurati apposta per spingere in una direzione e che le opzioni sul tavolo erano tutte difendibili. Seguire un ragionamento convincente e metodologicamente sensato non significa, di per sé, rinunciare alla propria autonomia intellettuale.
C’è poi un dettaglio che ridimensiona quell’86%. Sulle scelte di metodo l’influenza dell’agente AI è forte, ma quando si arriva alla decisione finale, cioè se estendere o meno il programma, la faccenda cambia. Il 54% degli analisti raccomanda l’estensione quando la macchina la suggerisce, contro il 36% quando indica il contrario. Misurando l’effetto sulla raccomandazione complessiva, che include anche l’ipotesi di una proroga, il risultato si fa meno netto. Nell’analisi senza aggiustamenti risulta significativo (p = 0,037), mentre nel modello principale, che tiene conto di alcune caratteristiche dei partecipanti, supera la soglia convenzionale (p = 0,069). Entrambi i valori derivano da test statistici a una coda.
Colpisce anche il modo in cui gli specialisti hanno giustificato le proprie scelte. Il 77% ha riutilizzato gli stessi argomenti proposti dall’intelligenza artificiale, a volte quasi parola per parola, eppure solo il 15% ha ammesso apertamente di averli presi dall’agente. Molti hanno insomma fatto proprie le spiegazioni della macchina presentandole come frutto del proprio ragionamento, e non è chiaro se lo abbiano fatto consapevolmente.
Epistemia, quando una risposta pronta prende il posto della verifica
Su un terreno vicino lavora da tempo Walter Quattrociocchi, professore ordinario alla Sapienza di Roma, che insieme a Chiara Marcoccia e Valerio Capraro ha diffuso lo scorso luglio una ricerca con 3.132 partecipanti distribuiti in cinque esperimenti. Le persone dovevano rispondere a domande difficili potendo sempre dichiarare di non conoscere la risposta. I suggerimenti dell’AI, però, erano volutamente sbagliati. La sola presenza di un’indicazione artificiale riduceva in modo drastico la tendenza a dire «non lo so». Le risposte aumentavano, l’accuratezza scendeva a circa un terzo rispetto alla condizione senza AI e intanto la fiducia nelle proprie scelte quasi raddoppiava. Con incentivi economici per le risposte giuste e penalità per quelle errate il fenomeno si attenuava appena, senza sparire.
Questo insieme di comportamenti è stato battezzato Epistemia, una condizione in cui la verifica delle informazioni lascia spazio all’accettazione di risposte plausibili prodotte dai sistemi artificiali. Una risposta può essere ben scritta e persino corretta senza che chi la riceve abbia gli strumenti per capire il motivo. Il rischio concreto è abituarsi a usare conoscenze che non si sanno più valutare, confondendo ciò che si è compreso con ciò che è stato semplicemente suggerito. Più produttività, secondo gli esperimenti, non vuol dire automaticamente più comprensione.
Fonte: TecnoAndroid