NVIDIA H200: l'interno della GPU per l'IA, spiegato strato per strato

Che cos'è la NVIDIA H200?

La NVIDIA H200 Tensor Core è la GPU per data center della generazione Hopper, annunciata a novembre 2023 e consegnata a partire dal secondo trimestre 2024. Succede direttamente all'H100, di cui riprende il chip GH100: stessa architettura, stessi 16.896 core CUDA, stessi 528 Tensor Core. Ciò che cambia è la memoria: la H200 è la prima GPU al mondo dotata di HBM3e, con 141 GB e 4,8 TB/s di larghezza di banda, contro gli 80 GB e i 3,35 TB/s dell'H100.

In Happy Mining installiamo GPU professionali in server e workstation IA per aziende, laboratori e provider di hosting. La domanda « H100 o H200? » ritorna in ogni progetto. Questa pagina risponde mostrando cosa c'è dentro il modulo, strato per strato, nella nostra vista esplosa 3D.

L'interno della H200, strato per strato

Una GPU per data center non è una scheda grafica ingrandita. Il modulo H200 SXM5 è un sandwich di sette strati principali, dal basso verso l'alto:

1. I connettori mezzanine SXM, sotto la scheda, che sostituiscono lo slot PCIe e i cavi di alimentazione di una scheda tradizionale. Trasportano l'energia, il PCIe 5.0 verso il processore e i collegamenti NVLink verso le altre GPU.
2. La scheda SXM5 (circa 14 × 10 cm), un circuito stampato multistrato che ospita gli stadi di alimentazione (VRM), i condensatori e il package della GPU.
3. Il substrato, un circuito stampato in miniatura e molto denso su cui è montato l'insieme chip + memoria, circondato da un telaio metallico di irrigidimento.
4. L'interposer in silicio, cuore della tecnologia CoWoS-S di TSMC: una piastra passiva che contiene le migliaia di piste che collegano la GPU alla memoria.
5. Il chip GH100 (814 mm², 80 miliardi di transistor, processo produttivo TSMC 4N) e, attorno a esso, sei stack di HBM3e da 24 GB ciascuno.
6. L'interfaccia termica, che assicura il contatto tra i chip e il sistema di raffreddamento.
7. Il dissipatore: un blocco alettato passivo, senza ventola, oppure una piastra fredda nei server raffreddati a liquido.

Nella vista 3D, clicchi su ogni componente per leggerne il ruolo. Il punto importante da ricordare: la memoria è attaccata alla GPU, a pochi millimetri, sullo stesso interposer. È ciò che consente una larghezza di banda impossibile da raggiungere con memoria GDDR saldata sulla scheda, come avviene su una scheda grafica da gaming.

141 GB di HBM3e: perché la memoria fa tutta la differenza

Per un grande modello linguistico (LLM), generare una parola significa rileggere tutti i pesi del modello e moltiplicarli per lo stato corrente. Un modello da 70 miliardi di parametri in FP8 occupa circa 70 GB: a ogni token, la GPU legge 70 GB. Con 4,8 TB/s, la H200 può teoricamente farlo quasi 70 volte al secondo, contro una cinquantina per l'H100. In pratica, NVIDIA misura un throughput fino a 1,9 volte superiore su Llama 2 70B, perché la memoria aggiuntiva permette anche di elaborare più richieste in parallelo (batch più grande) e di mantenere in memoria un contesto più lungo (la « KV cache »).

In concreto, 141 GB significano:

• un modello da 70 miliardi di parametri in FP8 su una sola GPU, con spazio per il contesto;
• un modello da 30 a 40 miliardi in FP16 (precisione piena);
• su un server con 8 GPU, 1,1 TB di memoria complessiva: abbastanza per servire Llama 3.1 405B o DeepSeek R1 in FP8, o per addestrare un modello da 100 a 180 miliardi di parametri con meno macchine.

Se il modello sta già comodamente in 80 GB, il guadagno della H200 rispetto all'H100 è più modesto: le due hanno la stessa potenza di calcolo. La H200 si giustifica quando il fattore limitante è la memoria o la sua larghezza di banda, come accade in quasi tutti i deployment di inferenza di LLM.

H200 SXM o H200 NVL: quale versione scegliere?

La H200 esiste in due formati, che non si installano nelle stesse macchine.

H200 SXM: il modulo per server HGX

È la versione mostrata nel nostro modello 3D. Il modulo si avvita su una scheda madre HGX H200 a 4 o 8 GPU, dove i chip NVSwitch collegano tutte le GPU in NVLink a 900 GB/s ciascuna. Potenza fino a 700 W per GPU, raffreddamento ad aria o a liquido a seconda dello chassis. È il formato dei server IA 8 × H200 che proponiamo: oltre 32 PFLOPS FP8 e 1,1 TB di HBM3e in un unico chassis.

H200 NVL: la scheda PCIe

Annunciata a fine 2024, la scheda H200 NVL riprende gli stessi 141 GB di HBM3e in un formato PCIe dual slot, 600 W, raffreddata passivamente dal flusso d'aria del server. Due o quattro schede si collegano tramite un bridge NVLink (fino a 1,8 TB/s complessivi e 564 GB di memoria condivisa con 4 schede). Le prestazioni sono inferiori di circa il 15 % rispetto alla SXM, ma la scheda si installa in un server standard, in configurazioni da 1, 2, 4 o 8: ideale per iniziare o per equipaggiare una sala esistente.

H200 vs H100: cosa cambia davvero

Un altro aspetto pratico: i server HGX H200 sono compatibili, a livello hardware e software, con gli HGX H100. Un provider di hosting che utilizza già delle H100 passa alla H200 senza cambiare infrastruttura, driver o stack software (CUDA, TensorRT-LLM, vLLM…).

Potenza, raffreddamento e consumo

Una H200 SXM consuma fino a 700 W. Un server HGX H200 completo, con le sue 8 GPU, i due processori, la memoria e le schede di rete, supera i 10 kW: occorre prevedere l'alimentazione elettrica (quattro alimentatori da 3.000 W in ridondanza sono una configurazione comune) e lo smaltimento del calore. Due approcci:

• Raffreddamento ad aria: ogni GPU monta un dissipatore passivo alettato come quello del modello 3D, e una fila di ventole ad alta pressione spinge l'aria attraverso lo chassis. Semplice, ma rumoroso ed esigente per la climatizzazione della sala.
• Raffreddamento a liquido: una piastra fredda sostituisce il dissipatore su ogni GPU e l'acqua trasporta il calore verso uno scambiatore. Chassis più compatti (4U per 8 GPU), meno rumore e un calore più facile da recuperare.

Questo calore non va necessariamente perso. Come per i nostri progetti di mining alimentati da una produzione locale di elettricità, un server IA può valorizzare un surplus di energia o riscaldare un edificio. Studiamo queste configurazioni caso per caso.

Per quali utilizzi?

• Inferenza di LLM in produzione: chatbot, assistenti documentali, generazione di codice, con modelli da 30 a 400 miliardi di parametri. È l'utilizzo in cui la H200 si distacca maggiormente dall'H100.
• Fine-tuning e addestramento: adattamento di un modello ai propri dati (LoRA, addestramento completo) su 1-8 GPU, o addestramento di modelli di medie dimensioni su un cluster.
• IA privata e sovrana: far girare un assistente IA sui propri documenti, nei propri locali, senza che alcun dato esca dall'azienda.
• Calcolo scientifico (HPC): simulazione, fluidodinamica, genomica, con i 34 TFLOPS in FP64 e la memoria per dataset più grandi.
• Noleggio di potenza di calcolo: un server H200 si noleggia a ore sui marketplace di GPU; il nostro calcolatore di redditività GPU fornisce un ordine di grandezza dei ricavi possibili.

Prezzo della NVIDIA H200 e disponibilità in Francia

Il prezzo di una H200 dipende dal formato, dal volume e dal momento: il mercato delle GPU per l'IA evolve ogni trimestre. Come ordine di grandezza, una scheda H200 NVL si negozia tra 30.000 e 45.000 € IVA esclusa, mentre un server HGX H200 con 8 GPU completo rappresenta diverse centinaia di migliaia di euro. I tempi di consegna variano da pochi giorni a diverse settimane a seconda delle scorte dei produttori.

Proponiamo le schede e i server H200 su preventivo, oppure con una prenotazione tramite acconto interamente rimborsato se il preventivo non La soddisfa. Dimensioniamo la configurazione insieme a Lei (numero di GPU, processori, memoria, rete, raffreddamento), consegniamo hardware nuovo e testato, e possiamo installarlo e ospitarlo. Per un primo passo più accessibile, le nostre workstation IA basate su schede professionali da 16 a 96 GB partono da poche migliaia di euro.

H200 o B200: conviene aspettare Blackwell?

La B200 e la B300 (architettura Blackwell) sono più veloci, in particolare in FP4 per l'inferenza, con una memoria da 180 a 288 GB per GPU. Ma consumano 1.000 W e oltre, richiedono spesso il raffreddamento a liquido e costano decisamente di più. Nel 2026 la H200 mantiene un eccellente rapporto prestazioni/prezzo: ecosistema software perfettamente maturo, buona disponibilità, compatibilità con le sale server esistenti. Per un progetto che deve essere operativo quest'anno, in un'infrastruttura già esistente, è spesso la scelta più ragionevole; per un nuovo cluster dimensionato per diversi anni, proponiamo anche server HGX B200 e B300.