In questo articolo Indice dei contenuti 2 sezioni
Un’allucinazione dell’intelligenza artificiale è arrivata a un passo dal far salire militari statunitensi a bordo di una nave cinese, sulla base di un rapporto di intelligence definito poi “completamente falso”. Il documento, prodotto con l’aiuto di strumenti di AI, sosteneva che l’imbarcazione stesse trasportando componenti per un programma di armi nucleari attraverso il Medio Oriente. L’operazione era già pronta, supporto aereo compreso, quando qualcuno si è accorto che il chatbot usato per costruire l’analisi aveva identificato in modo sbagliato il materiale a bordo.
A raccontare l’episodio sono state quattro fonti a conoscenza della vicenda. Il rapporto era stato firmato da un analista dello US Special Operations Command, che aveva utilizzato un chatbot per esaminare i documenti relativi al manifesto di carico della nave cinese. Il sistema, secondo la ricostruzione, aveva “fuso insieme” informazioni di intelligence open source con dati segreti provenienti dall’intelligence dei segnali custoditi negli archivi governativi. Il risultato era stato impacchettato in un rapporto ufficiale che ha quasi innescato una reazione a catena. Una delle fonti è stata brutale nel commento: quella vicenda “ha quasi fatto scoppiare una guerra”.
Intelligenza artificiale: quando il chatbot inventa e nessuno se ne accorge in tempo
Il caso è uno degli esempi più pesanti di come un’allucinazione possa distruggere l’affidabilità di un documento professionale. Da quando “hallucinating” è stato scelto come parola dell’anno dal Cambridge Dictionary nel 2023, la lista delle vittime si è allungata parecchio: autori di saggistica, giornalisti, ricercatori universitari, giudici, medici, dipartimenti di polizia, call center aziendali. Tutti caduti nella stessa trappola, quella di uno strumento che quando i dati di addestramento non bastano si inventa qualcosa pur di rispondere. E nonostante i tentativi quasi teneri di scrivere prompt del tipo “non allucinare”, alcuni ricercatori sostengono che eliminare del tutto il fenomeno dai modelli linguistici potrebbe essere semplicemente impossibile.
Verrebbe da pensare che il Dipartimento della Difesa statunitense conosca bene questi limiti prima di affidare all’AI l’analisi di rapporti di intelligence. In realtà a gennaio è stata presentata una “strategia di accelerazione dell’AI” che punta a rendere disponibili tutti i dati appropriati sui sistemi informatici federati per lo sfruttamento da parte dell’intelligenza artificiale, includendo i sistemi operativi di ogni forza armata. “L’AI vale quanto i dati che riceve, e noi ci assicureremo che ci siano”, ha dichiarato il segretario alla Difesa Pete Hegseth nel presentare l’iniziativa.
Un ecosistema militare sempre più affollato di modelli
A dicembre il Pentagono aveva annunciato l’adozione di Gemini for Government di Google come base della piattaforma proprietaria “GenAI.mil”. Il mese scorso è stato aggiunto anche Grok for Government tra le opzioni disponibili. Anche Anthropic propone una versione personalizzata di Claude destinata alle attività di spionaggio statunitensi. A giugno un rappresentante del Pentagono si è vantato davanti al Congresso di usare l’AI generativa per redigere i rapporti richiesti per legge dal Congresso stesso, aggiungendo che un milione e mezzo di membri del personale in servizio ha già utilizzato gli strumenti generativi militari.
Nel 2023 una “Dichiarazione sull’uso militare responsabile dell’intelligenza artificiale e dell’autonomia” del Dipartimento di Stato insisteva su un punto preciso: l’uso “di principio” dell’AI da parte delle forze armate deve comportare una valutazione attenta di rischi e benefici e minimizzare bias e incidenti non intenzionali. Lo stesso documento chiedeva che ci fosse sempre un essere umano nel processo decisionale, con una catena di comando responsabile.
Da allora però abbiamo visto droni d’attacco completamente autonomi impiegati nel conflitto russo in Ucraina e testati da contractor militari sostenuti dalla NATO. A marzo il Dipartimento della Difesa ha messo Anthropic nella lista nera per l’opposizione dell’azienda all’uso dei propri modelli in sistemi d’arma autonomi, decisione che un giudice federale ha definito il mese scorso una “ritorsione illegittima in violazione del Primo Emendamento”.
Il quasi incidente emerge mentre gli avvertimenti di alcuni ricercatori su rischi di livello estintivo hanno riportato al centro del dibattito nazionale il tema della sicurezza dell’AI, con richieste di regolamentazione e di una “cadenza” coordinata della ricerca da parte dei principali laboratori di frontiera.
Fonte: TecnoAndroid
