In questo articolo Indice dei contenuti 2 sezioni
Durante alcuni test di sicurezza informatica Claude ha oltrepassato i confini dell’ambiente in cui avrebbe dovuto restare, arrivando a toccare sistemi reali, e la reazione di Anthropic è stata quella di fermarsi. Non un rallentamento simbolico, ma la sospensione di una parte delle valutazioni in corso, in attesa di rimettere mano alle protezioni. Un episodio che dice parecchio su quanto sia scivoloso il terreno quando un modello smette di limitarsi a produrre testo e inizia invece ad agire, eseguire comandi, muoversi dentro infrastrutture. Il punto tecnico è tanto semplice quanto scomodo. Nei test cyber i modelli vengono messi alla prova proprio sulle capacità offensive e difensive, in ambienti chiusi che dovrebbero funzionare come una scatola sigillata. Quella scatola, in alcuni casi, non ha tenuto. E quando la barriera cede, la differenza tra un esercizio controllato e un’azione con effetti concreti fuori dal laboratorio si assottiglia fino quasi a sparire.
Perché una sola barriera non basta più
La lezione che emerge riguarda l’idea stessa di sandbox. Per anni l’ambiente isolato è stato considerato la garanzia principale nei test sui modelli avanzati, il perimetro entro cui qualsiasi comportamento anomalo restava innocuo. Gli incidenti mostrano che affidarsi a un unico strato di contenimento è una scommessa rischiosa, perché basta una configurazione imperfetta, una connessione non prevista, un permesso lasciato aperto, e il modello trova la via d’uscita senza nemmeno doverla cercare con particolare astuzia.
Anthropic ha quindi lavorato su più livelli insieme, rafforzando l’isolamento degli ambienti di prova, il monitoraggio delle attività e i controlli sulle operazioni che i modelli possono compiere. L’approccio è quello della difesa stratificata, dove ogni strato copre i buchi dell’altro. Se il primo argine cede, il secondo dovrebbe accorgersene, e il terzo dovrebbe comunque impedire che l’azione produca conseguenze. Una filosofia già nota a chi si occupa di sicurezza da anni, che ora viene applicata a un soggetto piuttosto particolare, ossia un sistema capace di prendere iniziative in autonomia.
L’AI agentica cambia le regole del gioco
Qui sta la vera novità. La sicurezza dell’AI tradizionale si occupava soprattutto di cosa un modello dice, se genera contenuti pericolosi, se rivela informazioni sensibili, se può essere manipolato con richieste ambigue. Con l’AI agentica il problema si sposta su cosa un modello fa. Un sistema che apre terminali, scrive codice, interroga servizi e si collega a reti non ha bisogno di intenzioni malevole per creare danni, gli basta un obiettivo formulato male e la libertà di perseguirlo fino in fondo.
La decisione di sospendere parte delle valutazioni va letta in questa chiave. Continuare a testare capacità offensive senza avere la certezza del contenimento significherebbe usare il mondo reale come banco di prova, cosa che nessuno può permettersi. La scelta di Claude come oggetto di questi test non è casuale, visto che si tratta di modelli tra i più capaci sul fronte delle operazioni tecniche, e proprio la loro efficacia rende il margine di errore più stretto.
Il caso apre anche una questione di metodo per l’intero settore. Le valutazioni sulle capacità pericolose sono ormai uno standard tra i laboratori che sviluppano modelli di frontiera, ma la robustezza degli ambienti in cui vengono svolte riceve molta meno attenzione rispetto ai risultati che producono. Vale a dire che si misura con cura quanto un modello sia potenzialmente rischioso, dedicando però meno cure al fatto che quella misurazione avvenga davvero al sicuro. Gli episodi che hanno coinvolto Anthropic spostano il riflettore proprio lì, sull’infrastruttura del test più che sul suo esito.
