Hopper
Arquitectura de GPU de NVIDIA para centros de datos presentada en 2022, la de las H100 y H200. Introdujo el FP8 y el Transformer Engine.
Hopper es la arquitectura de GPU que NVIDIA presentó en 2022 para los centros de datos, con el nombre de la informática Grace Hopper. Equipa las H100 y H200, así como el chip GH200, que combina una GPU Hopper con un procesador Grace. Tomó el relevo de Ampere, la arquitectura de la A100, antes de ser sustituida a su vez por Blackwell.
Hopper marcó un punto de inflexión para la IA generativa. Sus Tensor Cores de cuarta generación admiten la precisión FP8, y su Transformer Engine elige automáticamente entre FP8 y FP16 según las capas del modelo, lo que acelera claramente el entrenamiento y la inferencia de los modelos de tipo Transformer. También aporta NVLink de cuarta generación, a unos 900 GB/s por GPU, y la memoria HBM3.
Entre la H100 y la H200, la potencia de cálculo es idéntica: la diferencia está en la memoria. La H100 SXM tiene 80 GB de HBM3, y la H200, 141 GB de HBM3e con un ancho de banda de unos 4,8 TB/s. Para ejecutar grandes modelos de lenguaje, la memoria suele ser el límite, y la H200 permite entonces cargar modelos más grandes o procesar más peticiones en paralelo. En una ficha de producto, comprueba también el formato, SXM o PCIe, y la generación de NVLink.
Ofrecemos configuraciones basadas en H200 bajo presupuesto, con un anticipo de reserva que se reembolsa si renuncias.