Ancho de banda de memoria
Volumen de datos que la memoria de una GPU puede intercambiar con el chip cada segundo, en GB/s o TB/s. Un criterio clave para la velocidad en IA.
El ancho de banda de memoria mide el volumen de datos que la memoria de una tarjeta gráfica puede transmitir al procesador gráfico en un segundo. Se expresa en gigabytes por segundo (GB/s) o, en las GPU de centro de datos, en terabytes por segundo (TB/s). Depende del tipo de memoria, de su frecuencia y de la anchura del bus que la conecta a la GPU.
Una GPU puede tener una enorme potencia de cálculo y aun así quedarse bloqueada si espera sus datos. Es lo que suele ocurrir en inteligencia artificial: durante la generación de texto, cada nuevo token obliga a la GPU a volver a leer casi todos los parámetros del modelo. La velocidad de generación depende, por tanto, más del ancho de banda que de la potencia bruta. Simplificando, dividir el ancho de banda entre el tamaño del modelo en memoria da un límite superior del número de tokens por segundo para una petición.
En una ficha de producto, el ancho de banda suele aparecer junto a la capacidad de VRAM. Para comparar dos tarjetas destinadas a la IA, míralos juntos: la capacidad determina qué modelos se pueden cargar y el ancho de banda, su rapidez de respuesta. Las memorias HBM ofrecen los anchos de banda más altos, por delante de la GDDR7 y la GDDR6X. En minería, algunos algoritmos también están limitados por la memoria, lo que explica el interés de ajustar la frecuencia de memoria.
Nuestra página sobre la NVIDIA H200 muestra lo que supone un ancho de banda muy elevado para las cargas de IA.