Larghezza di banda della memoria
Quantità di dati che la memoria di una GPU può scambiare con il chip ogni secondo, in GB/s o TB/s. Un criterio chiave per la velocità dell'IA.
La larghezza di banda della memoria misura la quantità di dati che la memoria di una scheda grafica può trasmettere al processore grafico in un secondo. Si esprime in gigabyte al secondo (GB/s) o, sulle GPU da data center, in terabyte al secondo (TB/s). Dipende dal tipo di memoria, dalla sua frequenza e dall'ampiezza del bus che la collega alla GPU.
Una GPU può disporre di un'enorme potenza di calcolo, ma resta bloccata se deve aspettare i dati. È spesso il caso nell'intelligenza artificiale: durante la generazione di testo, ogni nuovo token obbliga la GPU a rileggere quasi tutti i parametri del modello. La velocità di generazione dipende quindi più dalla larghezza di banda che dalla potenza bruta. Semplificando, dividendo la larghezza di banda per la dimensione del modello in memoria si ottiene un limite massimo di token al secondo per una richiesta.
Nella scheda prodotto, la larghezza di banda compare spesso accanto alla capacità della VRAM. Per confrontare due schede destinate all'IA, guardale insieme: la capacità determina quali modelli possono essere caricati, la larghezza di banda determina la loro reattività. Le memorie HBM offrono le larghezze di banda più elevate, davanti alla GDDR7 e alla GDDR6X. Per il mining, anche alcuni algoritmi sono limitati dalla memoria, il che spiega l'interesse per le impostazioni della frequenza della memoria.
La nostra pagina sulla NVIDIA H200 mostra che cosa rappresenta una larghezza di banda molto elevata per i carichi di lavoro IA.