Hopper
2022 vorgestellte NVIDIA-GPU-Architektur für Rechenzentren, die der H100 und H200. Sie führte FP8 und die Transformer Engine ein.
Hopper ist die GPU-Architektur, die NVIDIA 2022 für Rechenzentren vorgestellt hat, benannt nach der Informatikerin Grace Hopper. Sie steckt in der H100 und der H200 sowie im GH200-Chip, der eine Hopper-GPU mit einem Grace-Prozessor kombiniert. Sie löste Ampere ab, die Architektur der A100, bevor sie selbst von Blackwell abgelöst wurde.
Hopper markierte einen Wendepunkt für generative KI. Ihre Tensor Cores der vierten Generation beherrschen FP8-Genauigkeit, und ihre Transformer Engine wählt je nach Schicht des Modells automatisch zwischen FP8 und FP16, was Training und Inferenz von Transformer-Modellen deutlich beschleunigt. Außerdem bringt sie NVLink der vierten Generation mit rund 900 GB/s pro GPU sowie HBM3-Speicher.
Zwischen H100 und H200 ist die Rechenleistung identisch: Der Unterschied liegt im Speicher. Die H100 SXM hat 80 GB HBM3, die H200 141 GB HBM3e mit einer Bandbreite von rund 4,8 TB/s. Beim Betrieb großer Sprachmodelle ist oft der Speicher der begrenzende Faktor, und mit der H200 lassen sich dann größere Modelle laden oder mehr Anfragen parallel verarbeiten. Prüfen Sie auf der Produktseite außerdem das Format, SXM oder PCIe, und die NVLink-Generation.
Wir bieten Konfigurationen mit H200 auf Anfrage an, mit einer Reservierungsanzahlung, die erstattet wird, wenn Sie verzichten.