NVIDIA H200: el interior de la GPU de IA, explicado capa a capa

¿Qué es el NVIDIA H200?

El NVIDIA H200 Tensor Core es la GPU para centros de datos de la generación Hopper, anunciada en noviembre de 2023 y entregada a partir del segundo trimestre de 2024. Es el sucesor directo del H100, del que conserva el chip GH100: la misma arquitectura, los mismos 16.896 núcleos CUDA, los mismos 528 Tensor Cores. Lo que cambia es la memoria: el H200 es la primera GPU del mundo equipada con HBM3e, con 141 GB y 4,8 TB/s de ancho de banda, frente a los 80 GB y 3,35 TB/s del H100.

En Happy Mining instalamos GPU profesionales en servidores y estaciones de IA para empresas, laboratorios y proveedores de alojamiento. La pregunta «¿H100 o H200?» surge en cada proyecto. Esta página responde mostrando lo que hay dentro del módulo, capa por capa, en nuestra vista despiezada 3D.

El interior del H200, capa por capa

Una GPU para centros de datos no es una tarjeta gráfica más grande. El módulo H200 SXM5 es un sándwich de siete capas principales, de abajo arriba:

1. Los conectores mezzanine SXM, bajo la placa, que sustituyen al puerto PCIe y a los cables de alimentación de una tarjeta convencional. Transportan la energía, el PCIe 5.0 hacia el procesador y los enlaces NVLink hacia las demás GPU.
2. La placa SXM5 (unos 14 × 10 cm), un circuito impreso multicapa que lleva las etapas de alimentación (VRM), los condensadores y el encapsulado de la GPU.
3. El sustrato, un circuito impreso en miniatura y muy denso sobre el que se monta el conjunto chip + memoria, rodeado de un marco metálico de refuerzo.
4. El interposer de silicio, núcleo de la tecnología CoWoS-S de TSMC: una placa pasiva que contiene los miles de pistas que conectan la GPU con la memoria.
5. El chip GH100 (814 mm², 80 mil millones de transistores, proceso TSMC 4N) y, a su alrededor, seis pilas de HBM3e de 24 GB cada una.
6. La interfaz térmica, que garantiza el contacto entre los chips y la refrigeración.
7. El disipador: un bloque de aletas pasivo, sin ventilador, o una placa fría en los servidores refrigerados por líquido.

En la vista 3D, haga clic en cada componente para conocer su función. El punto clave: la memoria está pegada a la GPU, a pocos milímetros, sobre el mismo interposer. Esto es lo que permite un ancho de banda imposible de alcanzar con memoria GDDR soldada a la placa, como en una tarjeta gráfica para juegos.

141 GB de HBM3e: por qué la memoria marca la diferencia

En un gran modelo de lenguaje (LLM), generar una palabra consiste en volver a leer todos los pesos del modelo y multiplicarlos por el estado actual. Un modelo de 70 mil millones de parámetros en FP8 ocupa unos 70 GB: en cada token, la GPU lee 70 GB. Con 4,8 TB/s, el H200 puede hacerlo, en teoría, casi 70 veces por segundo, frente a unas cincuenta del H100. En la práctica, NVIDIA mide hasta 1,9 veces más rendimiento con Llama 2 70B, porque la memoria adicional también permite procesar más solicitudes en paralelo (un batch más grande) y mantener un contexto más largo en memoria (la «KV cache»).

En concreto, 141 GB significan:

• un modelo de 70 mil millones de parámetros en FP8 en una sola GPU, con espacio para el contexto;
• un modelo de 30 a 40 mil millones en FP16 (precisión completa);
• en un servidor de 8 GPU, 1,1 TB de memoria acumulada: suficiente para servir Llama 3.1 405B o DeepSeek R1 en FP8, o para entrenar un modelo de 100 a 180 mil millones de parámetros con menos máquinas.

Si su modelo ya cabe holgadamente en 80 GB, la ganancia del H200 frente al H100 es más modesta: ambos tienen la misma potencia de cálculo. El H200 se justifica cuando la memoria o su ancho de banda son el factor limitante, como ocurre en la práctica totalidad de los despliegues de inferencia de LLM.

H200 SXM o H200 NVL: ¿qué versión elegir?

El H200 existe en dos formatos, y no se instalan en las mismas máquinas.

H200 SXM: el módulo para servidores HGX

Es la versión que se muestra en nuestro modelo 3D. El módulo se atornilla a una placa base HGX H200 de 4 u 8 GPU, en la que los chips NVSwitch conectan todas las GPU mediante NVLink a 900 GB/s cada una. Potencia de hasta 700 W por GPU, refrigeración por aire o por líquido según el chasis. Es el formato de los servidores de IA 8 × H200 que ofrecemos: más de 32 PFLOPS FP8 y 1,1 TB de HBM3e en un solo chasis.

H200 NVL: la tarjeta PCIe

Anunciada a finales de 2024, la tarjeta H200 NVL ofrece los mismos 141 GB de HBM3e en formato PCIe de doble ranura, 600 W, con refrigeración pasiva mediante el flujo de aire del servidor. Dos o cuatro tarjetas se conectan mediante un puente NVLink (hasta 1,8 TB/s acumulados y 564 GB de memoria compartida con 4 tarjetas). El rendimiento es aproximadamente un 15 % inferior al del SXM, pero la tarjeta se instala en un servidor estándar, en grupos de 1, 2, 4 u 8: ideal para empezar o para equipar una sala existente.

H200 vs H100: lo que cambia de verdad

Otro aspecto práctico: los servidores HGX H200 son compatibles, a nivel de hardware y de software, con los HGX H100. Un proveedor de alojamiento que ya utiliza H100 pasa al H200 sin cambiar de infraestructura, de controladores ni de pila de software (CUDA, TensorRT-LLM, vLLM…).

Potencia, refrigeración y consumo

Un H200 SXM consume hasta 700 W. Un servidor HGX H200 completo, con sus 8 GPU, sus dos procesadores, su memoria y sus tarjetas de red, supera los 10 kW: hay que prever la alimentación eléctrica (cuatro fuentes de 3.000 W en redundancia es una configuración habitual) y la evacuación del calor. Hay dos enfoques:

• Refrigeración por aire: cada GPU lleva un disipador pasivo de aletas como el del modelo 3D, y una hilera de ventiladores de alta presión atraviesa el chasis. Es sencillo, pero ruidoso y exigente para la climatización de la sala.
• Refrigeración líquida: una placa fría sustituye al disipador en cada GPU y el agua evacúa el calor hacia un intercambiador. Chasis más compactos (4U para 8 GPU), menos ruido y un calor más fácil de recuperar.

Este calor no tiene por qué desperdiciarse. Como en nuestros proyectos de minería alimentados por una producción eléctrica local, un servidor de IA puede aprovechar un excedente de energía o calentar un edificio. Estudiamos estas configuraciones caso por caso.

¿Para qué usos?

• Inferencia de LLM en producción: chatbots, asistentes documentales, generación de código, con modelos de 30 a 400 mil millones de parámetros. Es el uso en el que el H200 más se distancia del H100.
• Fine-tuning y entrenamiento: adaptación de un modelo a sus datos (LoRA, entrenamiento completo) en 1 a 8 GPU, o entrenamiento de modelos de tamaño medio en un clúster.
• IA privada y soberana: ejecutar un asistente de IA sobre sus propios documentos, en sus instalaciones, sin que ningún dato salga de la empresa.
• Cálculo científico (HPC): simulación, dinámica de fluidos, genómica, con 34 TFLOPS en FP64 y memoria para conjuntos de datos más grandes.
• Alquiler de potencia de cálculo: un servidor H200 se alquila por horas en los marketplaces de GPU; nuestra calculadora de rentabilidad GPU da un orden de magnitud de los ingresos posibles.

Precio del NVIDIA H200 y disponibilidad en Francia

El precio de un H200 depende del formato, del volumen y del momento: el mercado de GPU para IA evoluciona cada trimestre. Como orden de magnitud, una tarjeta H200 NVL se negocia entre 30.000 y 45.000 € sin IVA, y un servidor HGX H200 de 8 GPU completo supone varios cientos de miles de euros. Los plazos van de unos días a varias semanas según las existencias de los fabricantes.

Ofrecemos las tarjetas y servidores H200 bajo presupuesto, o con una reserva mediante anticipo, reembolsado íntegramente si el presupuesto no le convence. Dimensionamos la configuración con usted (número de GPU, procesadores, memoria, red, refrigeración), entregamos un equipo nuevo y probado, y podemos instalarlo y alojarlo. Como primer paso más accesible, nuestras estaciones de IA basadas en tarjetas profesionales de 16 a 96 GB parten de unos pocos miles de euros.

H200 o B200: ¿conviene esperar a Blackwell?

El B200 y el B300 (arquitectura Blackwell) son más rápidos, en particular en FP4 para inferencia, con 180 a 288 GB de memoria por GPU. Pero consumen hasta 1.000 W o más, suelen exigir refrigeración líquida y cuestan bastante más. En 2026, el H200 mantiene una excelente relación rendimiento/precio: ecosistema de software perfectamente maduro, disponibilidad aceptable y compatibilidad con las salas de servidores existentes. Para un proyecto que debe funcionar este año, en una infraestructura ya existente, suele ser la opción sensata; para un clúster nuevo dimensionado para varios años, también ofrecemos servidores HGX B200 y B300.