La moderazione AI di Discord ha combinato un pasticcio non da poco. La piattaforma ha ammesso che un bug nel suo sistema automatico ha bandito per sbaglio più di 8.000 utenti nel corso degli ultimi due mesi, tutti colpevoli, si fa per dire, di aver caricato immagini del tutto innocue. Parliamo di fogli di calcolo, scacchiere, texture di videogiochi e persino sfondi trasparenti bianchi e grigi, finiti nel mirino del sistema come se fossero contenuti pericolosi. Il problema, stando a quanto spiegato dalla società, andava avanti da maggio. E non si è fermato subito: nel solo fine settimana precedente alla scoperta del malfunzionamento, altri 200 account sono stati sospesi per lo stesso motivo. Ora tutti gli account colpiti sono in fase di ripristino, ma il danno, per chi si è visto chiudere il profilo dall’oggi al domani, resta.
La vicenda mette il dito su una delle grane più spinose legate alla moderazione automatica. Sempre più piattaforme si affidano a questi sistemi per individuare materiale illegale o abusivo su larga scala, e quando qualcosa va storto le conseguenze ricadono su migliaia di persone in un colpo solo. Discord, dal canto suo, ha provato a spiegare come funziona il meccanismo.
Come lavora il sistema e perché ha sbagliato
In un lungo thread pubblicato su X, l’azienda ha chiarito che il suo sistema di sicurezza confronta i contenuti caricati con database di materiale già noto come dannoso. La tecnologia dovrebbe servire a intercettare contenuti illegali, ma questo tipo di confronto per somiglianza può generare falsi positivi. Di norma, prima di prendere qualsiasi provvedimento, interviene un moderatore umano del team Trust & Safety. Solo che, a causa del bug, il sistema procedeva al ban immediato senza passare da quel controllo.
“Stiamo lavorando a protezioni migliori così che non possa più accadere”, ha scritto la società. Su X e Reddit, intanto, molti utenti hanno raccontato di essere stati sospesi in via permanente semplicemente per aver caricato immagini con pattern a griglia quadrata. Diversi tra loro hanno ipotizzato che gli strumenti di moderazione AI di Discord siano diventati particolarmente sensibili verso i motivi a griglia, dato che in passato erano stati usati per mascherare contenuti NSFW e di sfruttamento minorile agli occhi dei sistemi di rilevamento automatico.
La rabbia degli utenti colpiti è finita tutta sui social. Il punto sollevato è concreto: un ban permanente basato solo su un algoritmo può avere conseguenze pesanti, soprattutto per chi usa Discord per lavoro, per le community di gaming o per tenere i contatti a distanza. “Perdere un account Discord per una cosa così ingiusta può essere devastante e colpire duramente gli utenti, ogni giorno milioni di persone subiscono ban AI ingiusti. Questo deve finire”, ha scritto un utente. Un altro, che si presenta come game director, ha raccontato di essere stato bandito perché l’automod aveva scambiato le sue texture di gioco per materiale pedopornografico, chiedendo poi la revisione della sospensione perché su quella piattaforma poggiava tutta la sua comunicazione di lavoro.
Non è un caso isolato tra le grandi piattaforme
Discord non è l’unica ad aver avuto grattacapi del genere con i sistemi automatici. L’anno scorso gli utenti di Instagram e dei Gruppi Facebook avevano segnalato sospensioni di massa senza spiegazioni, che in molti attribuivano proprio alla moderazione AI. Meta non ha mai confermato pubblicamente se dietro ci fossero errori dell’intelligenza artificiale, e ora il suo Oversight Board sta spingendo per avere maggiore trasparenza. Anche Tumblr, sempre nell’ultimo anno, ha dovuto fare i conti con lamentele simili, con account sospesi in massa e senza motivazioni chiare fornite agli utenti.