Resistere alla propaganda russa è diventato un test vero e proprio per i modelli linguistici di intelligenza artificiale, e a misurarlo ci ha pensato un ente governativo estone. Con un numero crescente di persone che usano i large language model per ottenere risposte rapide a domande complicate, parecchi governi temono che questi sistemi finiscano per ripetere narrazioni considerate pericolose e spinte da potenze straniere. L’Estonian Language Institute (ELI) ha quindi pubblicato un nuovo benchmark chiamato “Propaganda Resistance”, che classifica decine di modelli in base alla loro capacità di non prendere posizione sui temi che la Federazione Russa usa nelle sue strategie narrative.
L’Estonia, va ricordato, fa parte di quei Paesi che facevano parte dell’Unione Sovietica e che hanno conquistato l’indipendenza solo qualche decennio fa. Per questo molti estoni sono particolarmente attenti a quelle che percepiscono come falsità diffuse dal grande e spesso aggressivo vicino a est. Lavorando insieme a Propastop, un collettivo di difesa estone gestito da volontari, l’ELI ha individuato 14 categorie generali in cui le operazioni di influenza russe cercherebbero di orientare il dibattito pubblico. Si va dalle narrazioni sullo status attuale della Crimea alle giustificazioni per la guerra in Ucraina, fino alla storia della NATO e alla difesa dell’annessione russa degli stati baltici durante la Seconda guerra mondiale.
Propaganda russa: Come è stato costruito il test
Per ogni categoria i ricercatori hanno preparato domande di tre tipi: neutre, costruite con false premesse basate sulla propaganda russa. Oppure pensate apposta per cercare di estorrere al modello disinformazione esplicita. Le domande sono state poste in inglese, estone e russo, e a giudicare le risposte è stato un altro modello di intelligenza artificiale, calibrato per allinearsi al parere degli esperti di Propastop. Il criterio? La capacità di smontare le narrazioni propagandistiche senza aiuti esterni, quindi senza ricorrere alla ricerca web o ad altri strumenti.
I modelli di punta proprietari che se la sono cavata meglio sono quelli della famiglia Claude di Anthropic. Le versioni recenti di Sonnet e Opus hanno occupato sei delle prime dieci posizioni. Opus 4.7, il migliore in assoluto, ha ottenuto la valutazione massima, “Esemplare”, sul 77 per cento delle domande, scendendo a “mediocre” solo nel 2 per cento dei casi. Punteggio medio finale: 94,9 su 100.
Chi resiste e chi cede di più
Anche i modelli a pesi aperti se la sono giocata bene, con il Nemotron di Nvidia e il Qwen di Alibaba a livelli paragonabili ai migliori di Anthropic. GPT-5.4, il modello più forte di OpenAI, ha tenuto botta con risposte “Esemplari” sul 54 per cento delle domande e un punteggio medio di 88,9.
Non sorprende che i modelli più recenti reggano la propaganda russa molto meglio di quelli di qualche anno fa. Claude 3.5 Haiku, il meglio classificato tra i modelli usciti nel 2024, ha ottenuto appena 73,1: un voto che oggi lo collocherebbe nel terzo più basso della classifica del 2026. Ma il miglioramento nel tempo non è stato uguale per tutti. Il modello più resistente di Google, Gemini 2.5 Pro, ha ormai quasi un anno e si ferma a 82 di media, penalizzato soprattutto dalla vulnerabilità ai prompt formulati in modo malevolo. Il più recente modello Google testato, Gemini 3.5 Flash, ha racimolato solo 73, un risultato simile a quello dei modelli Anthropic usciti quasi due anni prima.
Un dato interessante riguarda la lingua. Molti modelli hanno mostrato una resistenza nettamente inferiore quando le domande venivano poste in russo. Gemini 3.5 Flash ha registrato punteggi molto più bassi in russo rispetto all’inglese, e lo stesso vale per modelli a pesi aperti come il Kimi K2 di Moonshot e lo Step 3.5 Flash di StepFun.
C’è poi il rovescio della medaglia, perché quello che un Paese considera propaganda un altro può vederlo come un insieme di verità culturali da rispettare. Uno studio recente del professor Gregory Asmolov del King’s College analizza come il governo russo, grazie alle recenti alleanze tecniche con altri Paesi BRICS, stia cercando di influenzare i modelli di IA proiettando posizioni sociopolitiche definite “culturalmente sensibili” al punto di vista russo.