L’ingresso dell’intelligenza artificiale nei sistemi della Pubblica Amministrazione sta cambiando in modo concreto la gestione di pratiche, documenti e servizi. Automatizzare risposte, classificare fascicoli e supportare gli operatori significa ridurre tempi e margini di errore, rendendo la macchina amministrativa più fluida. Ma proprio mentre l’AI assume un ruolo sempre più centrale, emergono fragilità che non riguardano tanto la tecnologia in sé, quanto il modo in cui viene integrata nei processi decisionali.
Quando l’AI sbaglia in Pubblica Amministrazione
Uno studio del CERT-AgID, la struttura di sicurezza informatica dell’Agenzia per l’Italia Digitale, ha evidenziato una vulnerabilità particolare: è possibile ottenere accessi non autorizzati sfruttando il modo in cui i modelli linguistici gestiscono il contesto. Non si tratta di una classica intrusione informatica, ma di un uso strategico della logica interna del sistema.
L’attacco, definito Context Compliance Attack, si basa su una tecnica chiamata “assistant prefilling”. In pratica, un malintenzionato inserisce nel flusso conversazionale un messaggio che simula una decisione già approvata. Il modello, progettato per mantenere coerenza con quanto precede, tende a considerare quell’informazione come valida e procede di conseguenza. Invece di verificare nuovamente i permessi attraverso un controllo indipendente, completa l’azione come se fosse parte di un processo già autorizzato.
La differenza rispetto agli attacchi tradizionali è netta. Non si forza il sistema, non si aggirano barriere tecniche: si sfrutta la sua tendenza alla continuità logica. È un cambio di prospettiva importante, perché dimostra che una caratteristica pensata per migliorare l’interazione può diventare un punto debole quando l’AI viene utilizzata per gestire autorizzazioni o accessi sensibili.
Efficienza vs sicurezza nei processi automatizzati
La conclusione dello studio è chiara: i modelli linguistici non devono essere l’ultima istanza nelle decisioni critiche. La gestione dei permessi e l’accesso ai dati devono restare sotto il controllo di un livello di sicurezza esterno, capace di verificare ogni richiesta secondo regole formali e non sulla base del solo contesto conversazionale.
L’AI può essere un alleato potente per rendere la Pubblica Amministrazione più efficiente e moderna. Ma affidarle anche il ruolo di arbitro finale delle autorizzazioni, senza meccanismi indipendenti di controllo, significa esporre sistemi delicati a rischi difficili da individuare. La vera innovazione, in questo scenario, non è solo automatizzare di più, ma farlo con un’architettura di sicurezza capace di compensare le stesse qualità che rendono l’intelligenza artificiale così efficace.