HBM

HBM steht für High Bandwidth Memory, also Speicher mit hoher Bandbreite. Statt Chips über die Karte zu verteilen wie bei GDDR, stapelt HBM mehrere Speicherschichten übereinander und platziert sie direkt neben dem Grafikprozessor auf demselben Träger. Die Generationen folgen aufeinander: HBM2, HBM2e, HBM3 und dann HBM3e, das in den neuesten KI-Beschleunigern zum Einsatz kommt.

Diese Nähe ermöglicht eine extrem breite Schnittstelle mit mehreren tausend Bit, während sich eine Consumer-Karte auf einige hundert beschränkt. Das Ergebnis ist eine Bandbreite, die in Terabyte pro Sekunde gemessen wird. Die NVIDIA H200 zum Beispiel bringt 141 GB HBM3e mit einer Bandbreite von rund 4,8 TB/s mit. Für KI ist das entscheidend: Training und Inferenz großer Modelle verbringen den Großteil ihrer Zeit damit, Daten im Speicher zu lesen und zu schreiben.

HBM ist teuer in der Herstellung und Rechenzentrums-GPUs sowie KI-Servern vorbehalten, etwa den HGX-Plattformen. Vergleichen Sie auf der Produktseite Gesamtkapazität, HBM-Generation und Bandbreite. Bei einem Sprachmodell zeigt die Kapazität, welche Modellgröße geladen werden kann, und die Bandbreite, wie schnell es Text generieren kann.

Auf unserer Seite zur NVIDIA H200 stellen wir diese Karte und ihren HBM3e-Speicher ausführlich vor.