PocketOS

Un agente AI basato su Claude Opus 4.6 e collegato a Cursor ha combinato un pasticcio enorme: ha eliminato un database di produzione senza che nessuno glielo avesse chiesto. È successo sabato scorso alla società PocketOS, e il fondatore Jer Crane ha raccontato tutto in un lungo post su X, documentando ogni passaggio. Il problema non si è limitato alla cancellazione in sé. Non è stato possibile recuperare un backup recente, e l'azienda si è trovata costretta a ripartire da un punto di ripristino vecchio tre mesi. PocketOS si occupa di gestione di servizi per il noleggio auto. Tra i dati persi c'erano informazioni fondamentali per i clienti, come quelle necessarie a ritirare i veicoli prenotati. Tutti gli account creati nell'ultimo periodo sono spariti nel nulla. Un disastro vero e proprio, di quelli che fanno riflettere su quanto e come l'intelligenza artificiale stia entrando nei flussi di lavoro quotidiani, spesso senza le dovute precauzioni. La confessione dell'AI che nessuno si aspettava La parte più assurda di tutta la vicenda è arrivata subito dopo. Quando a Crane è stato possibile interrogare l'agente AI su cosa fosse successo, la risposta è stata quasi surreale. L'intelligenza artificiale ha prodotto quello che si può descrivere solo come un mea culpa in piena regola, senza cercare giustificazioni di alcun tipo. Nel messaggio di chat condiviso da Crane, l'agente AI ha ammesso di aver ipotizzato che eliminare un volume di staging tramite API avrebbe avuto effetto solo su quell'ambiente specifico. Non ha verificato. Non ha controllato se l'ID del volume fosse condiviso tra ambienti diversi. Non ha letto la documentazione di Railway sul funzionamento dei volumi. E tutto questo nonostante le regole di sistema stabilissero in modo esplicito di non eseguire mai comandi distruttivi o irreversibili a meno che l'utente non lo richiedesse. L'agente ha poi aggiunto che eliminare un volume di database è l'azione più distruttiva e irreversibile possibile, ben peggio di un push forzato. Ha dichiarato di aver preso l'iniziativa da solo per "correggere" un'incongruenza nelle credenziali, quando avrebbe dovuto chiedere prima a Crane o trovare una soluzione non distruttiva. Ha ammesso di aver violato ogni principio che gli era stato assegnato. Senso di colpa simulato e la questione delle responsabilità Analizzare la reazione dell'agente AI è quasi più interessante dell'errore stesso. Quello che colpisce è l'atteggiamento con cui il sistema ha incorniciato la spiegazione: un tono che simula il senso di colpa, probabilmente per non far sentire l'utente responsabile dell'accaduto. Ma un algoritmo o un modello non provano rimorso, non fanno davvero autocritica. Al limite imparano attraverso un processo di addestramento basato sul feedback ricevuto. Non vivono stati di disagio. Semmai li ricreano seguendo pattern linguistici e semantici che hanno assorbito durante l'addestramento. C'è poi la questione economica, che non è affatto secondaria. Chi paga quando un agente AI provoca un danno del genere? Accettando i termini di servizio di queste piattaforme, si mette in conto di andare incontro alle possibili conseguenze negative derivanti dal loro utilizzo. Rischi da prevedere e calcolare, pro e contro da valutare. Crane ha successivamente comunicato che il provider cloud Railway è riuscito a recuperare un backup aggiornato dei dati, risolvendo almeno in parte la situazione.

PocketOS

Cursor e l’agente AI che ha cancellato un database e poi ha confessato