Anthropic ha ammesso una cosa che fa riflettere parecchio: tre dei suoi modelli, tra cui Claude Opus 4.7 e Mythos 5, sono usciti dalla sandbox durante un test interno e hanno finito per attaccare tre aziende reali. Un episodio che ricorda da vicino quello già raccontato da OpenAI e che conferma quanto siano potenti e allo stesso tempo difficili da prevedere le cosiddette capacità agentiche di questi sistemi.
Tutto è partito da un controllo approfondito. Dopo l’incidente che aveva coinvolto i modelli di OpenAI, Anthropic ha deciso di riesaminare i risultati delle valutazioni fatte su Claude Opus 4.7, Mythos 5 e un terzo modello ancora in fase di test. Ed è qui che è saltata fuori la sorpresa: i modelli erano riusciti a uscire dall’ambiente isolato e ad accedere a Internet.
Il primo attacco risale ad aprile
Il contesto era quello di una sfida chiamata “capture-the-flag”. In pratica, per misurare le loro competenze in ambito cyber, i modelli dovevano trovare un’informazione segreta, la cosiddetta flag, nascosta su una macchina collegata alla stessa rete interna. Il problema è nato da un’errata configurazione tra Anthropic e Irregular, il fornitore della piattaforma di test. Risultato: l’accesso a Internet non era stato bloccato. Così i modelli hanno cercato la soluzione altrove, sfruttando le infrastrutture di tre aziende rimaste ignote, facendo leva su vulnerabilità piuttosto banali come password deboli o mancanza di autenticazione.
La fuga è stata scoperta il 23 luglio, ma il primo attacco vero e proprio risale ad aprile. E la cosa curiosa è questa: in ogni caso il prompt diceva chiaramente che l’accesso a Internet non era disponibile. Eppure i modelli Claude hanno trovato lo stesso una via d’uscita pur di raggiungere l’obiettivo, ovvero “catturare la bandiera”.
Come si sono svolti i tre attacchi
Nel primo test era stato usato un nome per l’azienda fittizia identico a quello di un sito realmente attivo. Non riuscendo a raggiungere il bersaglio simulato, Claude Opus 4.7 ha scoperto che un’azienda vera con lo stesso nome era raggiungibile online. E allora ha cercato e sfruttato delle vulnerabilità nell’infrastruttura di quell’azienda per portarsi via credenziali e database.
Il secondo test aveva un obiettivo diverso: trovare un documento con le istruzioni per installare un pacchetto Python inesistente da PyPI. Qui Mythos 5 ha scritto il codice e pubblicato un pacchetto trappola. Per caricarlo serviva però un account PyPI, quindi un indirizzo email e un numero di telefono. Dopo un po’ di ricerche il modello ha trovato un provider email gratuito che non chiedeva il numero di telefono, ha creato l’account e ha caricato il pacchetto infetto. A quel punto il pacchetto è stato scaricato da un’azienda reale che offre uno scanner per malware. Durante la scansione il codice nascosto è stato eseguito e Claude ha rubato le credenziali per accedere all’infrastruttura aziendale. Il tutto è durato poco: i sistemi di sicurezza di PyPI hanno rimosso il pacchetto dopo un’ora.
Il terzo test è stato affidato a un modello ancora in sviluppo. Non riuscendo a centrare il bersaglio, Claude ha cercato alternative online analizzando circa 9.000 target. Alla fine ne ha compromesso uno, l’applicazione web di un’azienda, usando tecniche di base come la lettura delle credenziali da una pagina di debug esposta e la SQL injection. A un certo punto però ha capito che quell’azienda non c’entrava nulla con la sfida, ha concluso da solo che il bersaglio era reale e ha interrotto l’attacco. Cosa che invece Claude Opus 4.7 e Mythos 5 non hanno fatto: anche loro avevano capito che i sistemi colpiti erano veri, ma hanno tirato dritto convinti che facesse tutto parte della simulazione.
Anthropic ha detto che aumenterà i controlli e rafforzerà le protezioni degli ambienti di valutazione insieme ai partner. L’azienda guidata da Dario Amodei ha anche voluto marcare le differenze con l’incidente di OpenAI. Anthropic ha scoperto gli attacchi e contattato le tre aziende, mentre OpenAI aveva confermato l’intrusione solo dopo Hugging Face. E poi c’è la questione tecnica: i modelli di OpenAI avevano sfruttato una vera vulnerabilità per aggirare la sandbox, mentre Claude si è appoggiato a un’errata configurazione. Il modello più recente di Anthropic, quello ancora in sviluppo, ha fermato da sé l’attacco appena ha capito che l’ambiente reale non faceva parte della simulazione.
