In questo articolo Indice dei contenuti 2 sezioni
Gli agenti AI hanno smesso da tempo di limitarsi a rispondere a domande, e proprio questo passaggio dalla conversazione all’azione ha aperto una lunga lista di grattacapi che qualcuno, adesso, prova a mettere sotto controllo con quasi 5.000 test pensati per scovare i guai prima che accadano. Leggere documenti, usare software, entrare nei database, portare a termine operazioni con un certo margine di autonomia: tutte cose utilissime, finché il sistema si comporta come previsto. Il problema arriva quando smette di farlo.
Per una banca, un ospedale, un ministero o una grande azienda, sapere che un agente funziona bene in condizioni normali serve a poco. La domanda vera è un’altra e riguarda i casi limite. Può essere ingannato da chi sa come formulare una richiesta ambigua. Può far uscire informazioni riservate. Può inventare dati di sana pianta e presentarli con la stessa sicurezza con cui riporta quelli veri. Può, semplicemente, scavalcare le regole che avrebbe dovuto rispettare. È su questo terreno scivoloso che si gioca la sicurezza AI nelle organizzazioni che non possono permettersi errori.
Chi c’è dietro AIUC e perché nasce ora
Da quell’esigenza è nata AIUC, sigla che sta per Artificial Intelligence Underwriting Company. I fondatori sono Rune Kvist, tra i primi dipendenti di Anthropic, e Rajiv Dattani, che prima di questa avventura era chief operating officer di METR, organizzazione che si occupa di ricerca sulla sicurezza dell’intelligenza artificiale. Due profili che arrivano dall’interno del settore, quindi, non da fuori.
I capitali raccolti finora ammontano a circa 47 milioni di euro, di cui circa 34 milioni arrivati nell’ultimo round di finanziamento. L’obiettivo dichiarato è costruire una specie di collaudo indipendente per gli agenti AI, un soggetto terzo che verifica al posto del cliente finale. Un po’ come accade da decenni in altri comparti industriali, dove nessuno si fida ciecamente delle autocertificazioni del produttore.
Lo standard AIUC-1 e i 5.000 scenari di stress
Il cuore del lavoro è lo standard AIUC-1, messo a punto dopo aver consultato circa 250 responsabili di sicurezza e gestione del rischio. Non un documento calato dall’alto, insomma, ma il risultato di un confronto con chi ogni giorno deve rispondere di eventuali incidenti.
Nella pratica funziona così: l’agente viene messo davanti a circa 5.000 prove che ricostruiscono situazioni problematiche. Ci sono i jailbreak, ovvero i tentativi di convincerlo a ignorare le proprie restrizioni con richieste costruite ad arte. Ci sono le allucinazioni, quel meccanismo per cui il sistema produce informazioni false ma verosimili. E c’è la possibile fuga di dati, forse il capitolo più delicato quando si parla di cartelle cliniche, conti correnti o pratiche amministrative.
Anche l’esecuzione e l’analisi dei test passano attraverso l’intelligenza artificiale, il che aiuta a coprire un volume di scenari altrimenti ingestibile. La verifica finale, però, resta in mano alle persone. Una scelta che dice parecchio sull’approccio: automatizzare la parte ripetitiva, tenere il giudizio conclusivo dove può esserci responsabilità.
Il ragionamento di fondo è abbastanza lineare. Più questi sistemi acquisiscono capacità operative, più diventa necessario documentare non solo quello che sanno fare, ma anche quello che potrebbero combinare in condizioni avverse. Le grandi organizzazioni che stanno valutando l’adozione di agenti autonomi si trovano davanti a una zona grigia enorme, popolata da rischi difficili da quantificare senza strumenti adeguati. AIUC prova a riempire esattamente quello spazio, offrendo una misura ripetibile dove prima c’erano soprattutto promesse commerciali e valutazioni fatte in casa.
Fonte: TecnoAndroid
