Uno studio recentemente condotto dall’Università Ca’ Foscari di Venezia e dalla Cardiff University rivela uno dei punti deboli dell’intelligenza artificiale: l’umorismo. La debolezza dell’IA in questo campo è ormai ben nota, ma quanto dimostrato da quest’ultima ricerca pone particolare attenzione sui giochi di parole e l’incapacità degli LLM di comprendere quando questi ultimi sono dotati di ironia.
Intelligenza artificiale e giochi di parole: gli LLM non riconoscono l’ironia
Il motivo alla base della lacuna individuata negli LLM risiede sostanzialmente nel loro meccanismo di elaborazione e generazione del testo. I chatbot attuali, infatti, si dimostrano particolarmente efficienti nell’individuazione di pattern e schemi linguistici appresi durante la fase di addestramento ma ciò non sembrerebbe sufficiente al fine di renderli in grado di riconoscere la presenza di un contenuto ironico. I test condotti dagli studiosi della Ca’ Foscari e la Cardiff University, infatti, sono stati effettuati somministrando al chatbot frasi come:
- I used to be a comedian, but my life became a joke.
- Long fairy tales have a tendency to dragon.
- Old LLMs never die, they just lose their attention.
Sostituendo termini come joke, dragon o attention, l’IA continuava ad attribuire un significato ironico al contenuto anche nei casi in cui le nuove parole utilizzate per completare la frase rendevano il significato totalmente inconsistente o serio. Ciò ha permesso ai ricercatori di notare un calo del 20% delle prestazioni dei modelli testati nel rilevare ironia e umorismo nei giochi di parole.
Allo stato attuale, dunque, gli LLM si dimostrano particolarmente abili nel riconoscere i giochi di parole grazie alle enormi quantità di dati forniti durante le fasi di addestramento, che permettono appunto di imparare a captare la presenza di schemi linguistici ma la comprensione semantica, in presenza di contenuti ironici, necessita ancora di essere affinata. Migliorare le prestazioni dell’IA nell’elaborazione di contenuti divertenti richiede uno sforzo non indifferente per via degli innumerevoli contesti culturali e linguistici da tenere in considerazione ma si tratterebbe di un risultato particolarmente utile che potrebbe consentire il raggiungimento di un livello di naturalezza ancora più alto nelle conversazioni con gli utenti.