HBM
También llamado: HBM3e
Memoria de ancho de banda muy elevado, apilada en capas justo al lado de la GPU. La HBM3e equipa aceleradores de IA como la NVIDIA H200.
HBM significa High Bandwidth Memory, memoria de gran ancho de banda. En lugar de chips repartidos por la tarjeta como la GDDR, la HBM apila varias capas de memoria unas sobre otras y las coloca justo al lado del procesador gráfico, sobre el mismo soporte. Las generaciones se suceden: HBM2, HBM2e, HBM3 y después HBM3e, utilizada en los aceleradores de IA más recientes.
Esta proximidad permite una interfaz extremadamente ancha, de varios miles de bits, cuando una tarjeta de consumo se queda en unos cientos. El resultado es un ancho de banda que se mide en terabytes por segundo. La NVIDIA H200, por ejemplo, incorpora 141 GB de HBM3e con un ancho de banda de unos 4,8 TB/s. Para la IA es decisivo: el entrenamiento y la inferencia de los grandes modelos pasan la mayor parte del tiempo leyendo y escribiendo datos en memoria.
La HBM es cara de fabricar y se reserva a las GPU de centro de datos y a los servidores de IA, como las plataformas HGX. En una ficha de producto, compara la capacidad total, la generación de HBM y el ancho de banda. Para un modelo de lenguaje, la capacidad indica qué tamaño de modelo se puede cargar, y el ancho de banda, a qué velocidad podrá generar texto.
Nuestra página dedicada a la NVIDIA H200 presenta en detalle esta tarjeta y su memoria HBM3e.