I modelli linguistici di grandi dimensioni (LLM) stanno trasformando il modo in cui accediamo e utilizziamo le informazioni. Ma un recente studio della New York University ha sollevato interrogativi inquietanti a riguardo. La ricerca ha analizzato l’impatto della disinformazione inserita nei set di addestramento di questi modelli, un fenomeno noto come “data poisoning“. Sembra infatti che anche una quantità microscopica di dati errati, pari allo 0,001%, può compromettere in maniera significativa la capacità di un LLM di fornire risposte accurate. Soprattutto nel delicato campo della medicina.
Come contrastare la disinformazione negli LLM, soluzioni e limiti: una sfida ancora aperta
Gli LLM apprendono da grandi quantità di dati, spesso raccolti indiscriminatamente dalla rete. Questo li rende vulnerabili a manipolativi. Infatti basta semplicemente collocare informazioni false in luoghi facilmente accessibili online perché vengano integrate nei dataset di addestramento. Lo studio si è concentrato su “The Pile“, un database ampiamente utilizzato per gli LLM. A riguardo pare sia stato scoperto che una porzione considerevole dei contenuti medici non proviene da fonti affidabili. Attraverso simulazioni, i ricercatori hanno dimostrato che modelli addestrati con dati alterati producono risposte imprecise sugli argomenti manipolati, ma anche su altri temi correlati. Aumentando così il rischio di danni concreti alla salute pubblica.
I risultati dello studio sono preoccupanti. Persino riducendo la disinformazione allo 0,001%, il 7% delle risposte prodotte dagli LLM resta dannoso. Tale fenomeno non è solo accidentale. Poiché molte informazioni errate sono pubblicate intenzionalmente per scopi economici o politici. Gli esperti hanno infatti evidenziato che il problema non è facilmente risolvibile. Poiché i modelli compromessi superano i test standard di accuratezza medica.
Nonostante ciò, i ricercatori hanno comunque sviluppato un algoritmo capace di individuare risposte sospette. Poiché le confronta con fonti validate. Tale strumento potrebbe essere utile per i modelli specializzati, ma lascia irrisolte le problematiche degli LLM generalisti. Utilizzati sempre più frequentemente anche per questioni mediche.
Insomma, l’ integrazione crescente degli LLM nei servizi di ricerca online sottolinea l’urgenza di affrontare questo problema. Mentre i modelli linguistici rappresentano un’innovazione straordinaria, la loro affidabilità resta un tema critico. Soprattutto in ambiti dove l’accuratezza è fondamentale, come la medicina.
