In questo articolo Indice dei contenuti 3 sezioni
Chi lavora con i modelli di intelligenza artificiale in italiano si porta dietro un costo nascosto, e quel costo si misura in token: a parità di contenuto, un testo italiano ne consuma circa il 38,47% in più rispetto alla stessa versione in inglese. Il dato arriva da un confronto su cinque atti normativi europei, disponibili in tutte le 24 lingue ufficiali dell’Unione, elaborati con tiktoken, il tokenizzatore sviluppato da OpenAI, secondo il metodo o200k. L’inglese, in questo tipo di misurazioni, funziona da metro di paragone per un motivo storico piuttosto banale: sviluppo, addestramento e test dei modelli sono stati costruiti soprattutto su dati e prove in quella lingua. Nessuna superiorità linguistica, quindi, solo maggiore disponibilità di contenuti e strumenti, un vantaggio già misurato da studi come LingualX64 e MuBench.
Cos’è un token e perché non coincide con una parola
Un token è un frammento di testo che il modello tratta come unità elementare. Prima di elaborare una frase, il sistema la spezza in una sequenza di token e assegna a ciascuno un numero. Il punto delicato sta proprio nel criterio con cui avviene questa suddivisione, perché non esiste una misura standard: un token può corrispondere a una parola intera, a un pezzo di parola, a un segno di punteggiatura o a una qualsiasi sequenza di caratteri che il sistema considera autonoma. Le convenzioni le stabilisce il tokenizzatore, non la grammatica.
Per chi paga un normale abbonamento mensile a ChatGPT la questione resta teorica. La quota è fissa, i token consumati durante le conversazioni non finiscono in fattura e scrivere in italiano o in inglese non cambia l’esborso. Il conto cambia con le API, i collegamenti tecnici che permettono a programmi esterni di dialogare con i modelli. Un software aziendale può inviare in automatico un documento, chiedere un riassunto e ricevere la risposta senza che nessuno apra ChatGPT. In quel caso il testo inviato e quello generato vengono convertiti in token e fatturati a chi gestisce l’API. Se una lingua richiede più token per dire la stessa cosa, il consumo sale.
Cinque regolamenti europei e il conto in italiano
I testi scelti in modo casuale sono la Direttiva 2026/470 sulla semplificazione degli obblighi di rendicontazione e due diligence, la Direttiva 2021/1021 sulla lotta alla corruzione, il Regolamento 2026/1165 sulla protezione dei dati sui biocidi, il Regolamento 2026/1744 noto come Digital Omnibus sull’intelligenza artificiale e il Regolamento 2026/1818 su benessere e tracciabilità di cani e gatti. Sono state confrontate le versioni ufficiali già tradotte e pubblicate su EUR Lex, non traduzioni generate dalle IA. Il maggior costo della lingua italiana oscilla tra il 29,99% e il 40,34% a seconda del documento, con una differenza media del 36,71%. Sommando i token delle cinque versioni italiane si arriva a 151.243, da cui il divario complessivo del 38,47%. Nel campione nessuna delle altre 23 lingue risulta più economica dell’inglese.
La spiegazione è doppia. I testi italiani sono più lunghi del 9,4%, quindi contengono più parole, e vengono suddivisi in un numero di token superiore di circa il 26,6%. I due effetti si moltiplicano e restituiscono quel 138,5% circa. Attenzione però a un dettaglio: non si può dire che tradurre in italiano costi il 38,5% in più, perché il testo di partenza va comunque inviato al modello e quel costo iniziale resta identico a prescindere dalla lingua di arrivo.
Quando un testo più corto pesa di più
Il confronto tra caratteri e token smonta l’idea che conti solo la lunghezza. Il compendio in lettone ha il 5,5% di caratteri in meno rispetto all’inglese, eppure richiede il 71% di token in più. Il ceco è più corto del 6,4% ma ne consuma il 56,4% in più. Divari marcati anche per greco, ungherese e irlandese, mentre olandese, spagnolo e portoghese restano più contenuti pur superando il 20%. Il motivo sta nel modo in cui un tokenizzatore costruisce il proprio vocabolario, a partire dalle frequenze osservate nei dati di progettazione. Le sequenze comuni diventano un token unico, quelle meno rappresentate vengono spezzate più spesso. Il conteggio non misura ricchezza, difficoltà o valore di una lingua, ma la sua compatibilità statistica con un particolare sistema di codifica. E la qualità della risposta restituita dal modello non ne risulta compromessa.
