FP8-/FP4-Genauigkeit

Eine GPU rechnet mit Gleitkommazahlen, die mit mehr oder weniger Bits gespeichert werden. FP32 mit 32 Bit ist die klassische einfache Genauigkeit, FP64 dient dem wissenschaftlichen Rechnen, FP16 und BF16 nutzen 16 Bit. Für die KI hat NVIDIA mit den Architekturen Hopper und Ada Lovelace FP8 eingeführt und mit Blackwell dann FP4.

Halbiert man die Anzahl der Bits, halbiert sich der belegte Speicher, und auf kompatiblen Tensor Cores verdoppelt sich ungefähr die Zahl der Operationen pro Sekunde. Ein neuronales Netz verträgt diesen Genauigkeitsverlust gut, vor allem bei der Inferenz: Ein sauber nach FP8 konvertiertes Modell liefert nahezu identische Antworten. FP4 geht weiter und erfordert Kalibrierungsverfahren, um den Qualitätsverlust zu begrenzen. Trainiert wird meist mit gemischter Genauigkeit, in BF16 oder sogar FP8.

Auf einer Produktseite wird die Leistung in TFLOPS immer für eine bestimmte Genauigkeit angegeben. Ein FP4-Wert kann ein Vielfaches, ja das Zigfache des FP32-Werts betragen: Vergleichen Sie zwei Karten daher bei derselben Genauigkeit und achten Sie auf den Zusatz „mit Sparsity“, der den Wert noch einmal verdoppelt. Prüfen Sie auch, ob die gewünschte Genauigkeit von der Hardware wirklich unterstützt wird: Bei NVIDIA gibt es natives FP4 erst mit Blackwell.

Wir helfen Ihnen, je nach Genauigkeit und Größe der Modelle, die Sie betreiben möchten, zwischen einer KI-Workstation und einem Server zu wählen.