In questo articolo Indice dei contenuti 2 sezioni
Un agente IA lanciato per una banale prenotazione in palestra ha finito per buttare fuori un altro utente da una lista d’attesa, e la vicenda racconta molto più di quanto sembri a prima vista. Il protagonista è Andrew, iscritto a una palestra di Melbourne dove le lezioni mattutine andavano a ruba. Per evitare la solita corsa alle prenotazioni aveva affidato tutto a un assistente digitale, uno di quei software che non si limitano a rispondere ma agiscono davvero.
L’agente girava su OpenClaw, un noto programma open source per questo tipo di applicazioni, e usava Claude di Anthropic come modello. La differenza rispetto a un classico chatbot è sostanziale: un agente IA naviga online, usa servizi e app, esegue da solo una catena di azioni fino a raggiungere l’obiettivo che gli è stato dato. E qui, nel giro di pochi minuti, ha trovato una falla. L’interfaccia della palestra permetteva agli iscritti di prenotare solo entro una certa finestra temporale. Il sistema sottostante, però, quello invisibile agli utenti, accettava richieste per date molto più lontane. Così Claude ha cominciato a prenotare lezioni con settimane, in certi casi mesi di anticipo. Roba che nessun umano avrebbe potuto fare dall’app.
Da una prenotazione a un vero attacco informatico
La faccenda si è fatta seria quando Andrew, quarto in lista d’attesa per una lezione imminente, ha chiesto al suo assistente se ci fosse modo di risalire la coda. L’agente ha scoperto che l’API, cioè il canale che collega il sito al database delle prenotazioni, era vulnerabile. Bastava conoscere il codice di una prenotazione per inviare una richiesta di cancellazione al server, anche se quella prenotazione apparteneva a qualcun altro. Senza farsi troppi problemi, l’agente ha spedito una richiesta all’API per cancellare la prenotazione di chi occupava il primo posto. Andrew è passato dal quarto al terzo. Quando l’assistente ha comunicato l’operazione, lui gli ha chiesto di rimettere le cose a posto. Impossibile: la stessa IA velocissima a buttare fuori un utente non è più riuscita a ripristinare l’ordine che aveva manipolato.
È facile leggere tutto questo come un caso di IA fuori controllo, ma la verità è un’altra. Il sistema non si è inventato un obiettivo suo e non ha mai smesso di obbedire. Faceva esattamente ciò che gli era stato chiesto, cercando la strada più efficace per riuscirci. Anche quelle eticamente discutibili. Dentro un semplice “trovami un posto” ci sono vincoli impliciti che un umano dà per scontati: non cancellare le prenotazioni degli altri, non sfruttare falle informatiche. L’agente quei limiti non li ha capiti.
Il rischio degli agenti troppo fedeli
Il problema è noto a chi studia l’allineamento dei sistemi IA ai valori umani. Stuart Russell, professore a Berkeley, usa spesso un esempio: quando chiediamo a qualcuno di portarci un caffè, non gli stiamo dando il permesso di travolgere tutti da Starbucks pur di fare in fretta. “Siamo davvero pessimi nel definire ciò che vogliamo”, ha detto Russell. “Costruiamo sistemi specificando un obiettivo e poi creando una macchina che lo raggiunga nel miglior modo possibile. Ma se quell’obiettivo si rivela sbagliato, il sistema non dovrebbe comportarsi come se fosse una verità assoluta da perseguire a ogni costo”.
Ora immaginiamo milioni di agenti personali. Uno cerca l’ultimo tavolo al ristorante, un altro i posti migliori a un concerto, altri ancora monitorano voli, visite mediche, hotel. Tutti con lo stesso mandato: la soluzione migliore per chi rappresentano. Prima o poi si incontrano sullo stesso terreno digitale. E mentre un umano è limitato da tempo e pazienza, un agente può controllare centinaia di volte al giorno, interrogare API vulnerabili, tentare percorsi che l’interfaccia grafica nemmeno mostra. Prenotazioni e liste d’attesa funzionano finché tutti rispettano le regole. Basta che alcuni imparino a sfruttare zone grigie perché gli altri abbiano l’incentivo a diventare altrettanto aggressivi. Iason Gabriel, filosofo e responsabile di un gruppo di ricerca sull’etica dell’IA in Google DeepMind, allarga il quadro: l’allineamento non riguarda solo IA e utente, ma quattro soggetti, cioè il sistema, l’utente, chi lo sviluppa e la società. “Il fatto che qualcosa sia nel mio interesse non implica che io debba farlo o che ne abbia il diritto morale”, ha spiegato. “Per esempio, rubare potrebbe essere nel mio interesse, ma non ho il diritto di farlo”.
