In questo articolo Indice dei contenuti 2 sezioni
OpenAI ha individuato e fermato una campagna organizzata che puntava a sottrarre informazioni protette dai suoi modelli di intelligenza artificiale attraverso una pratica conosciuta come distillazione non autorizzata. In parole semplici si tratta di sfruttare le risposte generate da un modello, oppure la sua catena di ragionamento, per addestrare e migliorare un sistema concorrente. Secondo l’azienda californiana dietro questa operazione ci sarebbe Moonshot AI, società cinese che sviluppa il modello Kimi.
Il quadro generale aiuta a capire perché la vicenda sia così delicata. I modelli realizzati dalle aziende statunitensi restano i più avanzati in circolazione, ma i rivali cinesi hanno accorciato parecchio le distanze con le loro ultime versioni. C’è poi un dettaglio che pesa molto, perché questi modelli sono open source e quindi chiunque può utilizzarli gratuitamente. Per chi spende miliardi di dollari ogni anno nello sviluppo è una concorrenza che fa paura. Stando a NSA, CISA e FBI sei aziende cinesi porterebbero avanti la distillazione illecita da quasi due anni, e questo spiegherebbe il rapido salto di qualità delle loro prestazioni.
Come funzionava l’estrazione dei ragionamenti
Le prime avvisaglie sono emerse all’inizio di luglio, quando OpenAI si è accorta che qualcosa non tornava nel traffico verso i propri sistemi. Va chiarito subito che non c’è stato un attacco informatico nel senso classico del termine. Gli autori non hanno forzato la crittografia né compromesso un database, e non hanno nemmeno avuto accesso diretto alle conversazioni degli utenti. Hanno invece manipolato le interazioni con il modello in modo da far affiorare processi di ragionamento protetti, che così diventavano visibili a chi inviava la richiesta. Il tutto è avvenuto in maniera coordinata e su larga scala, in aperta violazione dei termini di servizio.
Una delle tecniche più ingegnose consisteva nel copiare i ragionamenti cifrati ottenuti in una conversazione per poi chiedere al modello, in una chat diversa, di decifrare e trascrivere quel contenuto nascosto. L’attività è partita il 1 luglio con numeri piuttosto contenuti. Tra il 24 e il 25 luglio però è stato registrato un vero e proprio picco, con oltre 16.000 richieste legate a uno schema di estrazione ben preciso e provenienti da più di 4.000 utenti. Approfondendo le verifiche è venuta a galla anche un’attività collegata, basata su prompt molto simili, all’interno di un gruppo di oltre 15.000 utenti. Entro il 28 luglio l’intera operazione di distillazione è stata bloccata del tutto.
Le contromisure e il nodo della sicurezza nazionale
Sul fronte delle responsabilità l’azienda guidata dagli sviluppatori di ChatGPT si muove con una certa cautela. Non è possibile confermare che dietro la campagna ci sia un unico autore, ma la quota più consistente di richieste è arrivata da persone associate a Moonshot AI, la società cinese che ha dato vita a Kimi. La risposta è stata immediata. Tutti gli account coinvolti sono stati chiusi, i controlli in fase di login sono stati rafforzati e le protezioni che impediscono di raggiungere i dati di ragionamento sono state potenziate.
La questione però va oltre la semplice concorrenza commerciale, perché secondo OpenAI la distillazione non autorizzata può trasformarsi anche in un problema di sicurezza nazionale. Estrarre i dati di ragionamento consente infatti di addestrare altri modelli eliminando le restrizioni previste in origine. In questo modo le capacità sottratte possono essere impiegate per scopi pericolosi, come la scrittura di codice destinato agli attacchi informatici.
Fonte: TecnoAndroid
