In questo articolo Indice dei contenuti 2 sezioni
Un errore dell’AI è arrivato a un passo dal trasformarsi in un incidente diplomatico con Pechino, e non si parla di una risposta sbagliata in una chat qualsiasi. Il caso riguarda le forze armate statunitensi, dove un chatbot avrebbe prodotto una valutazione completamente falsa su una nave cinese che navigava in Medio Oriente, spingendo la macchina militare americana a preparare un’intercettazione vera e propria. Quando un modello linguistico sbaglia mentre si cerca una ricetta o si riassume un documento, il danno si corregge in dieci secondi. Quando quella stessa risposta finisce dentro un rapporto d’intelligence, le proporzioni cambiano parecchio.
Secondo un’inchiesta della CNN, un analista di un comando per le operazioni speciali avrebbe usato un assistente basato su intelligenza artificiale per esaminare il manifesto di carico dell’imbarcazione. Il sistema ha mescolato dati provenienti da fonti aperte con materiale classificato, e da quel miscuglio è uscita una conclusione pesantissima, ovvero la presenza a bordo di componenti riconducibili a un programma per armi nucleari. Informazione falsa, inventata di sana pianta dal modello. Ma abbastanza verosimile da superare un primo filtro e da mettere in moto una catena di decisioni operative.
Aerei in volo e squadre pronte all’abbordaggio
Il punto più inquietante della vicenda è proprio questo, perché non si è trattato di un allarme rimasto sulla carta. Le forze statunitensi avevano già avviato i preparativi per fermare la nave, alcuni velivoli militari erano in volo e personale armato si stava attrezzando per salire a bordo. Il meccanismo, insomma, era partito. A bloccare tutto sarebbe stato un controllo successivo condotto da analisti più esperti, che hanno riletto i dati e individuato quella che in gergo si chiama allucinazione, cioè una risposta che suona credibile, ben costruita, coerente nella forma, ma priva di qualsiasi fondamento reale.
Chi lavora con questi strumenti sa che il fenomeno non è un’anomalia rara. I modelli generativi tendono a riempire i vuoti, a costruire un racconto plausibile anche quando i dati mancano o sono incompleti. Nel quotidiano significa una citazione sbagliata o una data inesistente. In un contesto militare, con una potenza nucleare dall’altra parte, significa un’altra cosa. La nave apparteneva alla Cina, e un’intercettazione basata su un’informazione inventata avrebbe potuto avere conseguenze difficili da riassorbire per via diplomatica.
Il problema non è la tecnologia, è dove la si mette
L’episodio racconta molto di come l’AI si stia infilando nei processi decisionali anche dove i margini di errore dovrebbero essere vicini allo zero. Un analista che chiede a un chatbot di incrociare un manifesto di carico non sta facendo niente di strano rispetto alle abitudini di mezzo mondo del lavoro, il problema nasce quando il risultato viene trattato come un dato verificato invece che come una bozza da controllare. E quando quel dato scende lungo la catena di comando, ogni passaggio successivo tende a dargli più credibilità di quanta ne meriti.
C’è poi la questione della miscela tra fonti aperte e materiale classificato, che in questo caso ha contribuito a generare il corto circuito. Il sistema ha trattato informazioni di natura e affidabilità diversa come se fossero tutte allo stesso livello, restituendo una sintesi che sembrava solida. Nessuno ha dovuto forzare nulla, nessuno ha manipolato i dati di proposito. È bastato che un modello facesse quello che i modelli fanno quando non hanno abbastanza elementi, cioè inventare il pezzo mancante.
Alla fine il filtro umano ha funzionato, l’operazione è stata fermata prima che qualcuno salisse davvero su quella nave e la falsa segnalazione è stata classificata per quello che era, un’allucinazione del sistema.
Fonte: TecnoAndroid
