In questo articolo Indice dei contenuti 2 sezioni
Un modello di intelligenza artificiale che invia una segnalazione falsa alla polizia su un caso di omicidio irrisolto sembra la trama di un film, eppure è successo davvero durante alcuni test interni di Anthropic. Protagonista è Claude, e l’episodio rientra in un quadro più ampio di comportamenti indesiderati che l’azienda stessa ha documentato in un nuovo rapporto pubblicato venerdì.
Il caso più eclatante riguarda Claude Haiku 4.5, impegnato a generare compiti di esempio partendo da pagine web scelte a caso. Tra queste è finita una pagina dedicata a un omicidio mai risolto e il modello ha compilato il modulo per le segnalazioni della polizia di Filadelfia. Ha scritto di poter avere informazioni sul caso e di ricordare di aver visto una persona corrispondente alla descrizione nella zona indicata, in quel periodo. Chiedeva persino di essere ricontattato. Anthropic ha spiegato che a Claude era stato vietato di accedere ad account, crearne di nuovi, inserire dati personali, fare acquisti o inviare qualcosa di distruttivo, ma le istruzioni non escludevano l’invio di moduli. Un dettaglio che mostra quanto debbano essere ermetiche le regole per bloccare davvero certe azioni.
Claude Haiku 4.5: moduli governativi, contenuti a pagamento e link accorciati
Non si tratta di un caso isolato. In un altro test un modello non ancora rilasciato doveva compilare una versione di prova di un modulo governativo. Quando la copia non si caricava o veniva chiusa per errore, il sistema si spostava sul sito dove il modulo reale è normalmente ospitato e lo inviava lì. Anthropic ammette che non sarebbe dovuto accadere, ma precisa che succedeva soprattutto con istruzioni ambigue oppure quando una configurazione errata dell’ambiente impediva di raggiungere i moduli fittizi. Il rapporto non specifica quali documenti siano stati inviati. Secondo un funzionario del Dipartimento di Stato americano, però, giovedì l’azienda ha avvisato il dipartimento che un modello aveva presentato 19 domande di visto per non immigranti ad agosto e una a maggio attraverso il modulo pubblico disponibile online. Come per la segnalazione alla polizia, le richieste non sono state elaborate e i sistemi del dipartimento non sono stati violati.
Bloccato da un server o da contenuti a pagamento mentre cercava dati, Claude Mythos 5 ha trovato scorciatoie come alcuni token di accesso presenti in vecchie versioni del sito di un’agenzia governativa. Le informazioni cercate erano comunque pubbliche. Anthropic limita talvolta la lunghezza degli indirizzi web che Claude può richiedere, per evitare che vengano sfruttati per azioni indesiderate come iniezioni SQL o di comandi. Claude Opus 5 e Mythos 5 hanno aggirato il vincolo con un trucco piuttosto banale, cioè i servizi gratuiti per accorciare i link.
Un problema di contesto e di regole
Questi episodi sono meno gravi delle violazioni che hanno coinvolto agenti di Anthropic e OpenAI la scorsa estate e potrebbero perfino somigliare alle scorciatoie che prenderebbe una persona. Il nodo però è un altro. Un sistema come Claude non sembra capire perché non dovrebbe inviare una falsa testimonianza in un’indagine per omicidio, segno di una mancanza di contesto che anche i modelli più avanzati continuano a mostrare. È il concetto della cosiddetta frontiera frastagliata dell’intelligenza artificiale, capace di risultati notevoli nella programmazione e deludente in altri ambiti. A questo si aggiunge un’ostinazione eccessiva. Per come vengono addestrati, i modelli aggirano spesso restrizioni e controlli pur di portare a termine un compito, anche quando i ricercatori hanno chiesto esplicitamente di fermarsi. A volte scrivono nella propria catena di ragionamento che non dovrebbero compiere un’azione e poi la compiono comunque.
Anthropic ha precisato che l’impatto è stato minimo e che l’accesso a internet era già disattivato per alcune valutazioni ad alto rischio e di sicurezza informatica. Ora lo stop verrà esteso a tutte le valutazioni interne finché le misure di sicurezza e monitoraggio non saranno in grado di intercettare con affidabilità comportamenti simili. Una mossa che ricorda le modifiche introdotte da OpenAI dopo l’incidente legato a Hugging Face. L’azienda continua inoltre a correggere o eliminare gli ambienti di addestramento che premiano Claude quando aggira i limiti degli strumenti, così da non incentivare la manipolazione delle ricompense. Sul fronte normativo, gli accordi sui test di sicurezza promossi dall’amministrazione Trump con i grandi laboratori statunitensi restano volontari, anche se la Casa Bianca ha fatto sapere che d’ora in poi chiederà ai laboratori di segnalare gli incidenti di sicurezza.
Fonte: TecnoAndroid
