In questo articolo Indice dei contenuti 3 sezioni
Chi ha scaricato Atelier RyzaChat in Giappone se lo aspettava, forse, ma non in queste proporzioni: gli sviluppatori hanno dovuto pubblicare un avvertimento pubblico dopo aver registrato una serie di utilizzi impropri del sistema di intelligenza artificiale su cui si regge tutto il gioco. Tradotto: parecchi utenti stavano provando a far dire alla protagonista virtuale cose che, secondo il regolamento, non dovrebbe proprio dire. E non serve molta fantasia per intuire di che tipo di frasi si parli.
Il titolo completo è Atelier RyzaChat: AI Your Midsummer Dream Story with AI Ryza, e il concetto alla base è semplice quanto delicato. Il giocatore chiacchiera liberamente con una versione digitale di Reisalin “Ryza” Stout, la protagonista della serie Atelier Ryza, in una struttura che mescola elementi da gioco di ruolo e conversazioni generate al momento dall’algoritmo. Libertà totale, o quasi, perché quel “quasi” è esattamente il punto attorno a cui ruota la vicenda.
La tecnica del prompt injection e i limiti aggirati
Spiral AI, lo studio dietro al progetto, ha confermato episodi di prompt injection. Il nome suona tecnico ma il meccanismo è banale: si scrivono messaggi costruiti apposta per confondere il chatbot e spingerlo oltre i suoi paletti, ottenendo risposte che il sistema normalmente rifiuterebbe. Tra i casi individuati dagli sviluppatori ci sono contenuti fuori personaggio, materiale esplicito e risposte potenzialmente dannose. La parte sessualmente esplicita, va detto, è quella che ha fatto più rumore.
Secondo lo studio, questo genere di comportamento viola l’articolo 8, sezione 1, dei termini di servizio, che vieta espressamente di aggirare le restrizioni tecniche e di sfruttare i messaggi generati per finalità oscene. L’invito rivolto agli utenti è diretto, senza troppi giri di parole: niente caccia alle vulnerabilità del sistema per strappare risposte che il team non ha mai previsto.
Modelli, voci e immagini che girano sui social
C’è però un secondo fronte, e riguarda l’estrazione degli asset. Alcuni giocatori avrebbero pescato direttamente dai file del gioco i modelli dei personaggi e le registrazioni vocali, riutilizzandoli poi per confezionare contenuti di ogni genere. Anche questa attività finisce nel calderone delle violazioni dei termini di servizio, perché rientra nel reverse engineering, pratica esplicitamente proibita.
A completare il quadro c’è la circolazione sui social di immagini e video di Ryza con un aspetto molto simile a quello ufficiale del gioco. Spiral AI ha notato il fenomeno e ha fatto sapere due cose: che una parte di quel materiale sembra prodotta con strumenti di intelligenza artificiale, e che nessuno di quei contenuti arriva dal team di sviluppo. Anche qui, il tipo di immagini a cui si allude si intuisce piuttosto in fretta.
Cosa rischia chi insiste
La software house ha chiesto a tutti di rileggere i termini di servizio e di evitare qualunque attività vietata. Per i casi giudicati più gravi e chiaramente intenzionali, però, il tono cambia: Spiral AI ha dichiarato di essere pronta ad adottare “le misure appropriate in collaborazione con le autorità competenti”. Non una minaccia generica, quindi, ma un riferimento esplicito a possibili conseguenze legali.
Il caso di Atelier RyzaChat resta interessante proprio per la tensione che porta con sé. Un prodotto costruito sulla conversazione libera con un personaggio amatissimo deve per forza convivere con una rete di limitazioni tecniche e legali, e quella rete qualcuno la sta testando in continuazione. Gli sviluppatori si trovano a inseguire, correggere, avvisare. Sul piano della disponibilità, l’app è per ora un’esclusiva giapponese su iOS e Android. Una versione internazionale è già in programma per il prossimo futuro e porterà con sé il supporto a inglese, portoghese brasiliano, indonesiano, hindi e cinese tradizionale.
