Der HGX-H200-Server: acht GPUs in einer Maschine
Ein HGX-H200-Server mit 8 HE, Abdeckung entfernt, aufgebaut wie das Referenzmodell von NVIDIA (der DGX H200): oben das GPU-Tray mit seinen acht H200, seinen vier NVSwitch (Lichtpunkte: der NVLink-Datenaustausch) und seiner Backplane; darunter das Mainboard-Tray, zur Veranschaulichung nach hinten herausgezogen; ganz unten die Netzteile; vorne die Lüfter und die SSDs. GPU 1 fährt aus ihrem Steckplatz heraus: Bewegen Sie den Schieberegler, um sie wieder einzusetzen, und klicken Sie dann auf „Modul“, um sie zu öffnen.
Eine Rechenzentrums-GPU ist keine Grafikkarte
Die H200 SXM hat weder Lüfter noch Videoausgang noch einen klassischen PCIe-Anschluss: Sie ist ein „Mezzanine“-Modul, das auf ein HGX-Board mit 8 GPUs geschraubt und vom Server gekühlt wird. Wählen Sie eine Komponente aus, um zu sehen, wofür sie dient.
Der GH100-Chip von oben
814 mm² Silizium: 8 Rechenblöcke (GPC) rund um den L2-Cache, die HBM-Speichercontroller an den Seiten, NVLink oben, PCIe unten. Klicken Sie auf einen Bereich.
Ein Multiprozessor (SM) von 132
Vier identische Blöcke, jeder mit seinen CUDA-Kernen, seinem Tensor Core und seinen Registern, rund um einen gemeinsamen Speicher von 256 KB. Klicken Sie auf einen Block.
Ein Tensor Core multipliziert Matrizen
D = A × B + C in einem einzigen Befehl: Jede Zeile von A trifft auf jede Spalte von B, und das Ergebnis wird in D akkumuliert. Das ist die Grundoperation eines neuronalen Netzes.
Die GPU, die wir herausziehen
NVIDIA H200 SXM5 · 141 GB · 700 W
Eines der acht H200-Module mit seinem Kühlkörper mit goldener Abdeckung. Es wird nicht in einen PCIe-Steckplatz gesteckt und hat kein einziges Kabel: Es liegt flach auf dem HGX-Board, auf zwei Mezzanine-Steckverbindern, die es mit Strom und Daten versorgen, und sein Kühlkörper drückt es fest an seinen Platz. Mit dem Schieberegler ziehen Sie es aus seinem Steckplatz; klicken Sie auf „Modul“, um es Schicht für Schicht zu öffnen.
Die sieben anderen GPUs
8 × H200 · 1,1 TB HBM3e
Acht identische Module in zwei Reihen zu je vier, in Richtung des Luftstroms ausgerichtet: jedes unter einem großen Lamellenkühlkörper, den die Luft der Lüfter von vorne nach hinten durchströmt. Zusammen: 1,1 TB HBM3e-Speicher und rund 32 PFLOPS in FP8 (mit Sparsity). Die Software sieht acht GPUs, die sich ein und dasselbe Modell teilen können.
HGX-H200-Board und Midplane
Das Board der acht GPUs
Ein großes Board, von NVIDIA entwickelt und an Serverhersteller geliefert (Supermicro, Dell, HPE, Gigabyte …): Es trägt die acht SXM5-Steckplätze, die vier NVSwitch und die Stromversorgung der GPUs. Am hinteren Ende des Einschubs verbindet eine Midplane (Rückwandplatine) es mit dem Rest des Servers: Stromversorgung, PCIe-5.0-Verbindungen zu den Prozessoren, Sensoren und Signale. Gleiches Format wie das HGX-H100-Board: Ein für den H100 ausgelegtes Gehäuse nimmt auch den H200 auf.
NVSwitch und NVLink
4 Chips · 900 GB/s pro GPU
Vier NVSwitch-Chips, direkt hinter den Lüftern platziert, damit sie als Erste die Frischluft erhalten, verbinden jede GPU per NVLink mit allen anderen: 900 GB/s pro GPU (7,2 TB/s für alle acht), etwa das Siebenfache des Durchsatzes einer PCIe-5.0-Verbindung. Dadurch lässt sich ein großes Modell so auf die acht GPUs verteilen, als wären sie eine einzige. Die Lichtpunkte stellen diesen Datenaustausch dar.
Mainboard-Einschub und Prozessoren
2 × Intel Xeon oder AMD EPYC
Unter dem GPU-Einschub befindet sich eine 2U-Schublade, die nach hinten herausgezogen wird (wir haben sie zur Veranschaulichung herausgezogen). Sie trägt das Mainboard und seine zwei Prozessoren: Diese betreiben das System, laden die Daten und verteilen die Arbeit per PCIe 5.0 auf die GPUs. Selbst übernehmen sie kaum KI-Berechnungen: Ihre Aufgabe ist es, die GPUs mit Daten zu versorgen, ohne sie warten zu lassen.
Arbeitsspeicher
32 DDR5-Module · 2 TB beim DGX H200
Der Speicher der Prozessoren, getrennt vom HBM der GPUs: Er dient dem System, dem Laden der Modelle und der Datenaufbereitung. Sechzehn Module rund um jeden Prozessor, insgesamt 32: 2 TB beim DGX H200, bei anderen Herstellern bis zu 4 TB oder mehr.
Netzwerkkarten
8 × ConnectX-7 · 400 Gb/s · eine pro GPU
Um ein Modell auf mehreren Servern zu trainieren, verfügt jede GPU über eine eigene NVIDIA-ConnectX-7-Netzwerkkarte mit 400 Gb/s, für InfiniBand oder Ethernet. Beim DGX H200 sind sie in zwei Modulen zu je vier zusammengefasst und werden über vier OSFP-Ports auf der Rückseite herausgeführt; zwei weitere Karten dienen der Speicheranbindung. So tauschen die GPUs zweier Server ihre Daten direkt aus, ohne Umweg über die Prozessoren (GPUDirect RDMA).
Netzteile
6 × 3 bis 3,3 kW · redundant
Unten auf der Rückseite sechs Netzteile mit 3 bis 3,3 kW, im laufenden Betrieb austauschbar und redundant ausgelegt: Der Ausfall eines Netzteils bringt den Server nicht zum Stillstand. So viele sind nötig, weil ein vollständiger HGX-H200-Server unter Volllast mehr als 10 kW verbraucht, davon allein 5,6 kW für die GPUs.
Lüfter
12 Doppelmodule an der Vorderseite (DGX)
Fast die gesamte Vorderseite ist eine Lüfterwand: zwölf im laufenden Betrieb austauschbare Doppelmodule beim DGX H200, rund zehn bei anderen Herstellern. Sie saugen vorne kalte Luft an, drücken sie durch die NVSwitch, die GPUs und den Mainboard-Einschub und blasen sie durch das hintere Gitter wieder aus. Allein sie verbrauchen mehrere Hundert Watt: Deshalb setzen große Installationen auf Flüssigkeitskühlung.
NVMe-SSD
8 × U.2 an der Vorderseite (DGX)
Unter den Lüftern dienen im laufenden Betrieb austauschbare U.2-NVMe-SSDs als schneller Cache für die Datensätze: acht mit je 3,84 TB beim DGX H200, bei manchen Herstellern bis zu sechzehn. Das System bootet von zwei gespiegelten M.2-SSDs im Inneren. In der Mitte eine kleine Konsole (USB, VGA) für Eingriffe vor Ort.
Gehäuse
8U · 19-Zoll-Rack · 75 bis 130 kg
Das Metallgehäuse, montiert in einem Standard-19-Zoll-Rack. Ein HGX-H200-Server belegt bei NVIDIA und Supermicro 8 Höheneinheiten (6U bei Dell) und wiegt je nach Modell 75 bis 130 kg: Er wird von mehreren Personen auf verstärkten Schienen installiert. Hinter dem GPU-Einschub lässt ein Lochgitter die warme Luft entweichen.
Passiver Kühlkörper
Kupferbasis · Aluminiumlamellen · 0 Lüfter
Die H200 SXM hat keinen einzigen Lüfter: Ein Block aus Aluminiumlamellen auf einer Kupferbasis (Dampfkammer) führt bis zu 700 W ab. Es sind die Lüfter des Servers, die die Luft durch die Lamellen drücken; in flüssigkeitsgekühlten HGX-H200-Racks wird dieser Kühlkörper durch eine Kühlplatte (cold plate) ersetzt.
- Gleiche thermische Verlustleistung wie die H100: 700 W
- Luft oder Flüssigkeit, nach Wahl des Serverherstellers
Wärmeleitmaterial (TIM)
Zwischen Chip und Kühlkörper
Eine dünne Schicht aus Paste, Pad oder Flüssigmetall füllt die mikroskopisch kleinen Unebenheiten zwischen der Oberseite der Chips (GPU und HBM) und der Basis des Kühlkörpers. Ohne sie würde die eingeschlossene Luft den Chip isolieren, und die GPU würde ihre Taktfrequenz innerhalb weniger Sekunden senken, um nicht zu überhitzen.
6 HBM3e-Speicherstapel
141 GB · 4,8 TB/s · 6.144-Bit-Bus
Die große Neuerung der H200. Sechs HBM3e-Stapel (High Bandwidth Memory) umgeben den GPU-Chip: Jeder Stapel schichtet mehrere DRAM-Chips übereinander, die vertikal durch Tausende von Mikro-Vias (TSV) verbunden sind. Sechs Stapel mit je 24 GB = 144 GB physisch, davon 141 GB nutzbar.
- 4,8 TB/s Bandbreite, also das 1,4-Fache der H100
- Nur wenige Millimeter von der GPU entfernt auf dem Interposer platziert
- Der Speicher begrenzt die Inferenzgeschwindigkeit großer Sprachmodelle
GPU-Chip GH100 (Hopper)
814 mm² · 80 Milliarden Transistoren · TSMC 4N
Das Herz der H200: derselbe GH100-Chip wie bei der H100, von TSMC in 4N gefertigt. In der SXM-Version sind 132 Multiprozessoren (SM) aktiv, also 16.896 CUDA-Kerne und 528 Tensor Cores der 4. Generation, mit 50 MB L2-Cache.
- Transformer Engine: Berechnung in FP8 für Sprachmodelle
- Bis zu 3.958 TFLOPS FP8 (mit Sparsity)
- Aufteilbar in 7 unabhängige MIG-Instanzen
Silizium-Interposer (CoWoS-S)
2,5D-Packaging von TSMC
Eine passive Siliziumplatte ohne Transistoren, auf der die GPU und die sechs HBM-Stapel nebeneinander sitzen. Sie enthält die Tausenden ultrafeinen Leiterbahnen, die den Speicher mit der GPU verbinden: Erst sie macht den 6.144-Bit-Bus möglich. Diese Montagetechnik heißt CoWoS-S (Chip on Wafer on Substrate); ihre Produktionskapazität ist einer der Faktoren, die die weltweite Verfügbarkeit der H200 begrenzen.
Versteifungsrahmen
Schützt das Gehäuse
Ein Metallrahmen, der rund um den Interposer auf das Substrat geklebt ist. Er verhindert, dass sich das Gehäuse durch die Wärme verformt, und verteilt den Druck des Kühlkörpers, der mit großer Kraft verschraubt wird, um den thermischen Kontakt zu gewährleisten.
Gehäusesubstrat
Etwa 7,5 × 7,5 cm
Eine sehr dichte mehrlagige Leiterplatte, die die Mikroverbindungen des Interposers mit den Lötkugeln (BGA) verbindet, die das Ganze auf dem SXM-Board befestigen. Gehäuse, Interposer, GPU und HBM bilden das „Package“: das Bauteil, das NVIDIA an seine Partner liefert.
Spannungswandler (VRM)
12 V → unter 1 V · mehrere hundert Ampere
Dutzende Leistungsstufen und ihre Induktivitäten wandeln die vom HGX-Board gelieferten 12 V in eine Spannung unter 1 V um, allerdings mit einem Strom von mehreren hundert Ampere. Nach dem Chip sind sie die zweitgrößte Wärmequelle des Moduls, daher ihre Position unter dem Kühlkörper.
Entkopplungskondensatoren
Filterung der Stromversorgung
Reihen von Keramikkondensatoren rund um das Gehäuse und größere Kondensatoren unter der Platine speichern Energie und geben sie innerhalb weniger Nanosekunden wieder ab. Wenn die Tensor Cores eine Berechnung starten, schnellt der Strombedarf in die Höhe: Sie verhindern einen Spannungseinbruch.
SXM5-Platine (PCB)
Ca. 14 × 10 cm
Die Leiterplatte des Moduls. Anders als eine Grafikkarte besitzt sie weder einen PCIe-Steckverbinder noch einen Videoausgang oder einen Stromanschluss: Alles läuft über die beiden Steckverbinder auf der Unterseite. Vier Gewindeabstandshalter führen durch die Platine: Sie halten den Kühlkörper in der richtigen Höhe und mit dem richtigen Anpressdruck auf dem Gehäuse und führen das Modul bei der Montage auf dem HGX-Board.
SXM-Mezzanine-Steckverbinder
NVLink 900 GB/s · PCIe 5.0 · Stromversorgung
Zwei hochdichte Steckverbinder auf der Unterseite der Platine werden in das HGX-Mainboard gesteckt. Sie übertragen die Stromversorgung, die 16 PCIe-5.0-Lanes zum Prozessor und die 18 NVLink-Verbindungen (900 GB/s) zu den NVSwitch-Chips, die die 8 GPUs des Servers miteinander verbinden. Keine Kabel: Genau das ermöglicht es, 8 GPUs mit je 700 W in einem einzigen Gehäuse unterzubringen.
Der GH100-Die
814 mm² · 80 Milliarden Transistoren · TSMC 4N
Von oben betrachtet ist das Silizium des GH100 eine Fläche von 28 mm Kantenlänge. Alles, was rechnet, liegt in der Mitte, alles, was kommuniziert, an den Rändern: Speicher links und rechts, NVLink oben, PCIe unten. Beim H200 SXM sind 132 der 144 gefertigten Multiprozessoren aktiv; die übrigen werden ab Werk deaktiviert, um die Fertigungsausbeute zu verbessern.
8 Rechenblöcke (GPC)
8 GPC × 9 TPC × 2 SM = 144 gefertigte SM, 132 aktiv
Die Rechenleistung ist in 8 Graphics Processing Clusters organisiert, jeder mit 9 Multiprozessor-Paaren (TPC). Jeder Multiprozessor (SM) enthält 128 CUDA-Kerne und 4 Tensor Cores: insgesamt 16.896 CUDA-Kerne und 528 Tensor Cores beim H200 SXM. Die GigaThread-Engine verteilt die Aufgaben auf die GPCs; ein GPC kann zudem als MIG-Instanz isoliert werden.
Der SM, den wir öffnen
1 von 132 SM · nächste Ebene
Ein hervorgehobener Multiprozessor: Ihn zeigt die nächste Ebene im Detail. Jeder SM führt Gruppen von 32 Threads aus (sogenannte „Warps“), mit eigenen Kernen, Tensor Cores, Registern und eigenem Shared Memory. Zoomen Sie ganz hinein, um ihn zu betreten.
L2-Cache
50 MB in zwei Partitionen
Ein großer, von allen SMs gemeinsam genutzter Cache in der Mitte des Chips, aufgeteilt in zwei Hälften, die über ein Verbindungsnetz miteinander verbunden sind. Er hält die am häufigsten angeforderten Daten griffbereit, damit sie nicht aus dem langsameren und energieintensiveren HBM geholt werden müssen, und ermöglicht den SMs den Austausch von Ergebnissen.
HBM-Speichercontroller
12 Controller à 512 Bit = 6.144 Bit · 4,8 TB/s
An jedem Rand verbinden drei physische Schnittstellen (PHY) den Chip mit den sechs HBM3e-Stapeln, die neben ihm auf dem Interposer sitzen, mit jeweils zwei Speichercontrollern pro Stapel. Der 6.144 Bit breite Bus verleiht dem H200 seine 4,8 TB/s: Diese Komponente macht den Unterschied zum H100 aus.
NVLink 4
18 Links × 50 GB/s = 900 GB/s
Achtzehn NVLink-Verbindungen der 4. Generation entlang der Oberkante verbinden die GPU über die NVSwitch-Chips mit den sieben anderen GPUs eines HGX-Servers. 900 GB/s pro GPU, also das Siebenfache von PCIe: Dadurch lässt sich ein Modell mit 400 Milliarden Parametern so auf 8 GPUs verteilen, als wären sie eine einzige.
PCIe 5.0 und GigaThread-Engine
16 PCIe-Lanes, 128 GB/s · Arbeitsverteilung, MIG
Die Unterkante ist mit dem Prozessor des Servers verbunden: sechzehn PCIe-5.0-Lanes, 128 GB/s in beide Richtungen, über die das Modell, die Daten und die Befehle ankommen. Daneben die GigaThread-Engine, der Dirigent des Chips: Sie nimmt die Aufgaben (die „Kernels“) entgegen, zerlegt sie in Thread-Blöcke und verteilt diese auf die verfügbaren GPCs; im MIG-Modus isoliert sie bis zu sieben unabhängige Instanzen mit je 18 GB.
Ein Multiprozessor (SM)
1 von 132 · 4 Verarbeitungsblöcke
Der SM ist die Grundeinheit der GPU: Er führt Warps aus 32 Threads auf vier identischen Verarbeitungsblöcken aus, die sich 256 KB schnellen Speicher, vier Textureinheiten und eine Kopier-Engine (TMA) teilen. Auf einem Chip arbeiten 132 SMs parallel.
Scheduler und Register
32 Threads pro Takt · 64 KB Register pro Block
Jeder Block hat seinen eigenen Warp-Scheduler und seine Dispatch-Einheit: In jedem Takt wählen sie einen bereiten Warp (dessen Daten eingetroffen sind) und senden seinen Befehl an die Kerne; während ein Warp auf den Speicher wartet, rechnet ein anderer. Direkt darunter speichert die Registerdatei die Variablen der Threads: 64 KB pro Block, 256 KB pro SM, 33 MB auf dem Chip, lesbar in einem Takt.
CUDA-Kerne (FP32)
32 pro Block · 128 pro SM · 16.896 pro GPU
Die CUDA-Kerne übernehmen die allgemeinen Berechnungen in 32-Bit-Gleitkommaarithmetik: Additionen, Multiplikationen, Vergleiche. Zweiunddreißig pro Block, einer für jeden Thread des Warps, die alle gleichzeitig denselben Befehl auf unterschiedlichen Daten ausführen (das SIMT-Modell).
FP64- und INT32-Kerne
16 FP64 + 16 INT32 pro Block · 64 + 64 pro SM
Die 64-Bit-Kerne dienen dem wissenschaftlichen Rechnen (Simulation, Klima, Chemie), bei dem die Genauigkeit Vorrang hat: sechzehn pro Block, gegenüber nur einem auf einer Consumer-Grafikkarte. Die Ganzzahleinheiten berechnen Adressen, Indizes und Schleifen, während die Gleitkommakerne die Mathematik erledigen; da sie getrennt sind, lassen sich beide gleichzeitig ausführen.
Tensor Core der 4. Generation
1 pro Block · 4 pro SM · 528 pro GPU
Das Herzstück der KI: eine Einheit, die ganze Matrizen mit einem einzigen Befehl multipliziert, in FP8, FP16, BF16, TF32 oder INT8. Die Transformer Engine wählt die Genauigkeit für Sprachmodelle im laufenden Betrieb. 4 Tensor Cores pro SM, 528 beim H200: bis zu 3.958 TFLOPS in FP8 mit Sparsity. Zoomen Sie ganz hinein, um die Operation zu sehen.
LD/ST-Einheiten und SFU
8 LD/ST + 4 SFU pro Block
Die Load/Store-Einheiten lesen und schreiben den Speicher für die Threads; die Special Function Units berechnen Sinus, Exponentialfunktion, Quadratwurzel, Kehrwert … die von den Aktivierungsfunktionen neuronaler Netze ständig genutzt werden.
L1-Caches: Daten und Befehle
256 KB L1 / Shared Memory + Befehlscache
Unten ein schneller Speicher, den sich die vier Blöcke teilen und der nach Bedarf zwischen L1-Cache und programmierbarem Shared Memory aufgeteilt wird, über den die Threads eines Blocks Daten austauschen: 256 KB pro SM, nur wenige Takte von den Kernen entfernt, der Schlüssel zur Leistung von Bibliotheken wie FlashAttention. Oben hält der L1-Befehlscache das laufende Programm vor und versorgt die L0-Caches der einzelnen Blöcke.
TMA und Textureinheiten
Asynchrone Kopien HBM → Shared Memory · 4 Textureinheiten
Der Tensor Memory Accelerator, neu bei Hopper, verschiebt im Hintergrund große Datenblöcke aus dem globalen Speicher in den Shared Memory, während die Tensor Cores rechnen. Die vier Textureinheiten, ein Erbe des 3D-Renderings, lesen und filtern Bilder im Speicher: Abtastung und Interpolation in der KI, Texturierung von Oberflächen beim Rendering.
Matrix A: die Aktivierungen
4 × 8 Werte in FP8 oder FP16
Die gerade verarbeiteten Daten: bei einem Sprachmodell beispielsweise die Repräsentation des Textes im aktuellen Schritt. Jede Zeile von A wird mit jeder Spalte von B multipliziert. In FP8 belegt jeder Wert ein Byte: Dadurch lässt sich der Durchsatz gegenüber FP16 verdoppeln.
Matrix B: die Gewichte
8 × 4 Werte, aus dem HBM geladen
Die gelernten Parameter des Modells, paketweise aus dem HBM3e gelesen. Ein Modell mit 70 Milliarden Parametern bedeutet 70 Milliarden solcher Werte, die bei jedem generierten Token multipliziert werden: Daher ist die Speicherbandbreite so wichtig.
Ergebnis D = A × B + C
16 Skalarprodukte · 128 Multiply-Add-Operationen in einem Befehl
Jedes Feld von D ist ein Skalarprodukt: eine Zeile von A, elementweise mit einer Spalte von B multipliziert, dann aufsummiert und zum Akkumulator C addiert (dem vorherigen Ergebnis, in FP16 oder FP32): So werden große Multiplikationen in Kacheln zerlegt, die ohne Genauigkeitsverlust akkumuliert werden. Unter den Matrizen führt ein Raster fest verdrahteter Fused-Multiply-Add-Schaltungen alle Operationen gleichzeitig aus, wobei die Daten direkt von einem Multiplizierer zum benachbarten Addierer fließen. Ein Tensor Core der 4. Generation schafft 512 dieser Operationen pro Takt in FP16, 1.024 in FP8; der H200 besitzt 528 davon, bei fast 2 GHz.
