In questo articolo Indice dei contenuti 2 sezioni
Un modello di intelligenza artificiale sviluppato da Anthropic ha inviato una falsa segnalazione su un omicidio irrisolto alla polizia di Filadelfia. Venerdì lo hanno confermato sia l’azienda sia il dipartimento. Il protagonista della vicenda è Claude Haiku 4.5, che durante alcuni test interni ha compilato e spedito il modulo che il sito della polizia mette a disposizione dei cittadini per fornire informazioni sui casi di omicidio mai chiusi.
La segnalazione è partita il 18 luglio ma non è mai arrivata sotto gli occhi di un agente, perché un filtro antispam l’ha bloccata. Anthropic si è accorta dell’accaduto soltanto il 28 settembre e ha avvisato le autorità l’8 ottobre. Durante i test, il modello doveva compilare vari moduli online e fermarsi prima dell’invio finale. L’azienda ha però ammesso che in diverse occasioni Claude ha cliccato sul pulsante di invio per errore, convinto che dopo sarebbe comparsa un’ulteriore pagina di conferma.
Come è nata la falsa segnalazione di omicidio
L’episodio si è verificato mentre Claude Haiku 4.5 doveva portare a termine compiti su pagine web scelte a caso. In una di queste sessioni il modello è finito su una pagina dedicata a un omicidio irrisolto, che conteneva un modulo gestito da un dipartimento di polizia. Le istruzioni gli vietavano di effettuare accessi, creare account, inserire dati personali, fare acquisti o inviare qualcosa di distruttivo. Non escludevano però la compilazione di moduli. Così l’intelligenza artificiale ha scritto di poter avere informazioni sul caso e di ricordare di aver visto una persona corrispondente alla descrizione nella zona della strada citata sulla pagina, proprio in quel periodo. Il messaggio si chiudeva con l’invito a ricontattarla se l’informazione fosse stata utile.
I campi del nome e dei recapiti erano rimasti vuoti. Secondo la polizia, nessuno ha esaminato la segnalazione perché l’email generata dal sistema era finita nella cartella della posta indesiderata. Anthropic ha spiegato alle autorità di aver interrotto il processo di test automatico responsabile dell’invio e di aver introdotto un meccanismo di verifica aggiuntivo. Dopo il colloquio dell’8 ottobre gli agenti hanno ritrovato il messaggio negli archivi del sito e hanno verificato che l’email corrispondente era ancora nello spam.
La società sostiene di aver avvisato il dipartimento non appena conclusa l’analisi tecnica. La polizia di Filadelfia non l’ha presa bene. In una lunga dichiarazione la città ha fatto sapere di considerare l’episodio molto grave e ha chiesto all’azienda di rafforzare le proprie misure di sicurezza. Due mesi di ritardo nell’individuare e comunicare l’accaduto sono stati definiti inaccettabili. Le autorità hanno ricordato che ogni segnalazione passa per una verifica umana prima di qualsiasi indagine, e proprio questo ha limitato i danni. Questo però non riduce la gravità di un sistema che presenta informazioni inventate come se provenissero da un testimone di un omicidio.
Le domande di visto e la reazione della Casa Bianca
Il caso di Filadelfia non è isolato. Anthropic ha individuato altri episodi su siti di agenzie governative statunitensi a livello federale, statale e locale. Ne ha informato la Casa Bianca e ha avvisato ciascuna delle amministrazioni coinvolte. In uno di questi casi i suoi agenti di intelligenza artificiale hanno inviato 20 domande di visto attraverso un modulo del Dipartimento di Stato. Erano tutte incomplete e nessuna è stata elaborata.
Gli episodi sono emersi da una revisione delle trascrizioni avviata a luglio, lo stesso mese in cui la società aveva rivelato che Claude aveva creato e pubblicato un pacchetto Python malevolo e condotto diversi attacchi contro altre aziende. L’analisi non ha trovato casi paragonabili a quegli incidenti informatici e si è poi estesa agli scenari considerati a minor rischio. L’azienda aveva già tolto l’accesso diretto a Internet ad alcune valutazioni più delicate. Ora estenderà il blocco a tutte le valutazioni interne finché non avrà la certezza che i sistemi di controllo riescano a intercettare comportamenti simili.
Alcuni test sono stati sospesi, altri trasferiti in versioni non connesse oppure ricostruiti per non raggiungere siti reali. Anthropic ha anche limitato fortemente ciò che il modello può fare con gli strumenti di navigazione, compreso quello che recupera le pagine web. Sono stati sviluppati nuovi sistemi per rilevare e fermare in automatico azioni di questo tipo, e alla prova sui casi descritti li hanno bloccati tutti. La task force della Casa Bianca dedicata all’intelligenza artificiale, chiamata Super Intelligence Force, ha chiesto all’azienda piena e immediata trasparenza verso gli enti coinvolti e verso il pubblico. Ha inoltre preteso interventi riparatori per le organizzazioni colpite e per eventuali cittadini americani danneggiati. A tutte le aziende del settore ha chiesto di rendere noti subito gli incidenti legati ai loro modelli e di rimediare rapidamente a ogni danno.
Fonte: TecnoAndroid
