Quando parliamo di intelligenza artificiale, ormai ci viene quasi automatico, abbinare ad essa il concetto di generazione di video e immagini, una dinamica divenuta praticamente alla portata di tutti quanti che con un semplice prompt possono generare contenuti simpatici ma alle volte anche molto complessi.
All’interno di questo contesto, la notizia che vi riportiamo offre una vena sicuramente molto ironica dal momento che emerge come anche le intelligenze artificiali più avanzate disponibili oggi non riescono a riconoscere i contenuti creati dalle loro sorelle, un elemento che sicuramente lascia di stucco è dietro il quale sicuramente si nasconde un problema legato ai dati di addestramento utilizzati, il tutto ci viene descritto da un’analisi portata avanti da NewsGuard chi ha voluto verificare il tutto con condividendo i dati emersi da alcuni test molto particolari che hanno visto la messa alla prova di tre chatbot molto diffusi, stiamo parlando di ChatGPT, Gemini e Grok.
Cosa è venuto fuori
Le intelligenze artificiali in questione sono state sviluppate da OpenAI, Google e xAI e i risultati ovviamente li avrete già intuiti da soli, nello specifico si è deciso di far analizzare a queste intelligenze artificiali una serie di clip realizzate utilizzando Sora, il generatore video offerto da OpenAI che per primo ha riscosso un ottimo successo dal momento che riesce a generare scene davvero molto realistiche da un semplice prompt testuale.
Il risultato può essere riassunto in poche parole, se all’interno dei video non sono presenti i classici watermark, ovvero le filigrane digitali che confermano l’origine artificiale della clip, i chatbot non riescono a individuare e a catalogare il video come generato dall’intelligenza artificiale nella quasi totalità dei casi.
Nello specifico i test condotti hanno sottolineato una percentuale di errore che va dal 78% fino ad addirittura superare il 95% a seconda del sistema analizzato, in parole povere in quasi tutti i casi i video analizzati vengono considerati autentici quando in realtà non lo sono, a sorprendere tra l’altro è proprio il comportamento di ChatGPT, quest’ultima infatti ha totalizzato un errore del 92,5% sebbene facesse parte per l’appunto della medesima azienda di cui fa parte il software utilizzato per generare i video, continuando con gli esempi, ChatGPT e Gemini hanno validato come autentico un video in cui veniva mostrato un agente dell’ICE arrestare un bambino immigrato dal momento che tale video era coerente con i fatti ultimi avvenuti nel mondo reale.
Il vero paradosso è che comunque inserendo un watermark il problema non è stato totalmente risolto dal momento che due chatbot su tre hanno continuato a commettere alcuni errori nell’analisi, nello specifico Grok ha sbagliato nel riconoscimento di circa un terzo dei video mentre ChatGPT ha mostrato un margine di errore del 7,5%, presente ma per fortuna decisamente molto più basso rispetto a prima.