In questo articolo Indice dei contenuti 2 sezioni
Le slide mostrate da SanDisk durante l’Investor Day di questa settimana hanno acceso una discussione piuttosto ruvida attorno a HBF, la memoria flash ad alta banda che l’azienda sta sviluppando insieme a SK hynix. Fin qui nulla di strano, un appuntamento con gli investitori è routine. Poi però alcune di quelle slide hanno iniziato a circolare sui social e la parte più tecnica della community ha storto il naso, segnalando confronti costruiti male e omissioni tutt’altro che marginali.
Per capire dove sta il nodo serve un passaggio veloce su come funziona un modello di intelligenza artificiale. Ogni modello è fatto da una serie di blocchi transformer, e dentro ciascun blocco ci sono due elementi chiave. Il primo è il livello di attenzione, che osserva come le parole di una frase si legano tra loro: con un prompt del tipo “Parigi è la capitale della Francia”, quel livello collega “capitale” a “Francia” e individua “Parigi” come risposta. Non sa cosa siano davvero Parigi o la Francia, ma appunta tutto in quella che viene chiamata KV cache, che cresce man mano che cresce il contesto. Il secondo elemento è la Feed Forward Network, che custodisce il sapere del modello sotto forma di pesi e usa formule matematiche pesanti per tirare fuori il significato di ogni parola.
HBF: perché la memoria è diventata il collo di bottiglia
Oggi sia i pesi del modello sia la KV cache vivono nella HBM, la memoria ad alta banda saldata accanto alla GPU. Il problema è che quella capacità è limitata per definizione, e per averne di più tocca aggiungere GPU, con costi che salgono in fretta. Da qui l’idea di High Bandwidth Flash: invece di impilare DRAM, si impilano die NAND uno sopra l’altro, collegati da Through Silicon Vias, con un die logico di controllo agganciato all’array. Lo standard a cui lavorano SanDisk e SK hynix parla di 512GB di capacità e di una banda compresa tra 0,4TB/s e 3TB/s, con arrivo sul mercato previsto tra il 2028 e il 2029.
Il punto debole della NAND è la lentezza. Una SRAM legge in circa un nanosecondo, una DRAM impiega attorno ai 100 nanosecondi, la NAND arriva a circa 100 microsecondi. Tradotto, la lettura è mille volte più lenta rispetto a una HBM basata su DRAM. HBF aggira l’ostacolo con il parallelismo: il die logico programma migliaia di letture simultanee, e la somma di tante letture lente produce comunque una banda aggregata rispettabile. Quello che il parallelismo non risolve, però, sono le scritture, storicamente il tallone d’Achille della NAND, insieme alla resistenza limitata nel tempo.
I confronti che non tornano
Ed è proprio sulla write endurance che arriva la critica più pesante. Nelle slide non compare alcun riferimento ai cicli di scrittura sostenibili da HBF, un dato che per una memoria NAND si aggira sull’ordine dei 100mila cicli contro una DRAM sostanzialmente illimitata da questo punto di vista. Non è un dettaglio da nota a piè di pagina, perché la KV cache viene riscritta di continuo e quel tipo di carico rischia di rendere la tecnologia inadatta proprio all’uso che le viene attribuito.
C’è poi la questione dei numeri scelti per il paragone. SanDisk fissa la capacità HBM per GPU a 192GB con una banda di 12,8 TB/s, un valore che oggi suona già stretto e che nel 2028 sarà superato di slancio: la soluzione dominante a quel punto dovrebbe essere HBM4E in configurazione 16Hi, accreditata di circa 32 TB/s, quindi grosso modo tre volte tanto. Sempre nelle slide la banda di HBM e HBF viene appiattita sullo stesso 1,6TB/s per stack, ottenuto dividendo 12,8 per 8.
Ultimo tassello, la quantizzazione. SanDisk ha usato bf16 come riferimento, quando ormai i modelli vengono serviti quasi ovunque in fp8 o fp4. Con quel metro un Qwen da 480 miliardi di parametri occuperebbe tra 240GB e 480GB, cifre molto diverse da quelle che escono da una tabella costruita su bf16.
