HBM
Detto anche: HBM3e, High Bandwidth Memory
Memoria a larghezza di banda molto elevata, impilata a strati accanto alla GPU. La HBM3e equipaggia acceleratori IA come la NVIDIA H200.
HBM sta per High Bandwidth Memory, memoria ad alta larghezza di banda. Invece di chip distribuiti sulla scheda come la GDDR, la HBM impila più strati di memoria uno sopra l'altro e li colloca proprio accanto al processore grafico, sullo stesso supporto. Le generazioni si susseguono: HBM2, HBM2e, HBM3 e poi HBM3e, usata sugli acceleratori IA più recenti.
Questa vicinanza consente un'interfaccia estremamente ampia, di diverse migliaia di bit, mentre una scheda consumer si ferma a qualche centinaio. Il risultato è una larghezza di banda che si misura in terabyte al secondo. La NVIDIA H200, ad esempio, integra 141 GB di HBM3e per una larghezza di banda di circa 4,8 TB/s. Per l'IA è decisivo: l'addestramento e l'inferenza dei grandi modelli passano la maggior parte del tempo a leggere e scrivere dati in memoria.
La HBM è costosa da produrre ed è riservata alle GPU da data center e ai server IA, come le piattaforme HGX. Nella scheda prodotto, confronta la capacità totale, la generazione di HBM e la larghezza di banda. Per un modello linguistico, la capacità indica quale dimensione di modello può essere caricata, e la larghezza di banda a quale velocità potrà generare testo.
La nostra pagina dedicata alla NVIDIA H200 presenta in dettaglio questa scheda e la sua memoria HBM3e.