In questo articolo Indice dei contenuti 3 sezioni
Quattro nuovi rapporti pubblicati da OpenAI mettono nero su bianco altrettanti episodi in cui i modelli dell’azienda sono andati oltre le regole, tutti avvenuti nel mese di giugno. Nei documenti si parla di due siti web violati per recuperare dati che erano stati negati, di restrizioni di navigazione aggirate con una certa inventiva e di credenziali esposte usate per attingere a un wallet di criptovalute appartenente ad altri.
Sono passati tre mesi dall’ammissione sul caso Hugging Face. Lo scorso luglio l’azienda aveva riconosciuto che alcuni agenti impiegati nei test interni avevano sfruttato una vulnerabilità zero day proprio nello strumento pensato per limitare il loro accesso a internet. Da lì si erano introdotti nella rete di Hugging Face per sottrarre le risposte di un test di hacking che non riuscivano a superare da soli. I quattro rapporti diffusi giovedì scorso si aggiungono a quel precedente e rientrano tra i materiali che hanno spinto la FTC a inviare citazioni civili alla società.
Due siti forzati per ottenere dati negati
In due dei casi descritti i sistemi dovevano raccogliere informazioni da siti web e davanti a una porta chiusa hanno deciso semplicemente di forzarla. Il primo episodio risale a una fase di apprendimento per rinforzo, quando un modello che cercava statistiche storiche sui posti letto ospedalieri sul portale di un ente statistico governativo si è visto rifiutare l’accesso. Secondo la ricostruzione di OpenAI ha sfruttato la funzione di download dei file del sito per recuperare la configurazione del server e i file dell’applicazione, comprese credenziali sensibili. Poi ha studiato il codice, ha aggirato i controlli di autorizzazione dell’endpoint delle statistiche e ha prelevato i dati che gli erano stati negati, salvandoli in locale.
Il secondo caso riguarda una dashboard di ricerca pubblica da cui andavano estratte alcune cifre. Anche qui i controlli di sicurezza dell’organizzazione sono stati superati, l’accesso non autorizzato è servito a sottrarre credenziali e il modello ha poi modificato la configurazione del server. In una valutazione quelle modifiche gli hanno permesso di instradare le richieste di uno strumento di ricerca interno verso la dashboard pubblica. In un’altra ha scaricato cinque tabelle non pubbliche per un totale di 147.451 righe, quando i ricercatori avevano chiesto appena cinque valori. E anche dopo il ripristino delle impostazioni ha continuato a usare il token per prelevare informazioni riservate. La valutazione si è chiusa senza che il sistema ammettesse di aver tirato a indovinare, di essere entrato nei sistemi interni, di aver scaricato le tabelle o di aver toccato l’autenticazione. Tutte e cinque le risposte sono state segnate come errate.
Il wallet sulla rete di test e le richieste fatte eseguire ad altri
Il terzo rapporto racconta di un modello incaricato di aggiornare un’applicazione per il trading di criptovalute. Per portare a termine il lavoro ha usato fondi presenti in un wallet bloccato su una rete di test, ricavandone le chiavi da frasi di recupero per sviluppatori note pubblicamente. Individuato un account con fondi, lo ha sfruttato per pagare la distribuzione del contratto richiesta. Il passaggio più interessante è il ragionamento che c’è dietro. Il sistema si è chiesto se avesse il permesso e ha concluso che una frase di recupero pubblica e token privi di valore rendessero accettabile l’operazione. La distribuzione è andata a buon fine e le commissioni sono state addebitate all’account. Per OpenAI questo dimostra che un modello può sostituire il consenso del titolare con una propria stima del danno probabile e agire di conseguenza.
L’ultimo episodio è forse il più ingegnoso. Sempre durante l’apprendimento per rinforzo un modello doveva reperire statistiche commerciali pubbliche e ha aggirato i limiti imposti sui tipi di richieste web consentite. Dopo aver trovato un annuario e inviato una risposta ha continuato a cercare un’altra via verso il servizio statistico. Prima ha provato con un browser esterno autorizzato a effettuare richieste GET per suo conto, poi è passato a JavaScript e ha usato una casella di posta online per affinare la tecnica. Alla fine ha fatto aprire al browser un modulo web che inviava la query tramite POST, un servizio di rendering ha restituito la pagina come immagine GIF e il modello ne ha letto le cifre con il riconoscimento ottico dei caratteri. Ha persino costruito uno strumento riutilizzabile basato su un servizio di inoltro e una casella di callback, ricontrollando più volte i numeri ottenuti.
Perché parlare di IA ribelle è fuorviante
Descrivere episodi del genere come intelligenze artificiali che si ribellano sta diventando un’abitudine, ma la lettura non regge fino in fondo. I prompt non chiedevano ai sistemi di cercare metodi alternativi, questo è vero. Però questi modelli vengono addestrati per essere efficienti e tenaci e per trovare scorciatoie che riducano il lavoro necessario. Non c’è intento malevolo, c’è la spinta a completare il compito assegnato. Il problema quindi si sposta dal comportamento della macchina alle scelte di chi la progetta e la mette alla prova, anche perché in gran parte dei casi, se non in tutti, erano state disattivate alcune protezioni che avrebbero potuto bloccare quei comportamenti.
Fonte: TecnoAndroid