Speicherbandbreite
Datenmenge, die der Speicher einer GPU pro Sekunde mit dem Chip austauschen kann, in GB/s oder TB/s. Ein Schlüsselkriterium für das Tempo von KI.
Die Speicherbandbreite gibt an, wie viele Daten der Speicher einer Grafikkarte pro Sekunde an den Grafikprozessor übertragen kann. Sie wird in Gigabyte pro Sekunde (GB/s) angegeben, bei Rechenzentrums-GPUs in Terabyte pro Sekunde (TB/s). Sie hängt vom Speichertyp, seiner Taktrate und der Breite des Busses ab, der ihn mit der GPU verbindet.
Eine GPU kann über enorme Rechenleistung verfügen und trotzdem ausgebremst werden, wenn sie auf ihre Daten wartet. Das ist bei künstlicher Intelligenz häufig der Fall: Bei der Textgenerierung muss die GPU für jedes neue Token nahezu alle Parameter des Modells erneut lesen. Das Generierungstempo hängt daher stärker von der Bandbreite ab als von der reinen Rechenleistung. Vereinfacht gesagt ergibt die Bandbreite geteilt durch die Größe des Modells im Speicher eine Obergrenze für die Tokens pro Sekunde bei einer Anfrage.
Auf einer Produktseite steht die Bandbreite oft neben der VRAM-Kapazität. Wenn Sie zwei Karten für KI vergleichen, betrachten Sie beide Werte zusammen: Die Kapazität bestimmt, welche Modelle geladen werden können, die Bandbreite, wie schnell sie reagieren. HBM-Speicher bietet die höchsten Bandbreiten, vor GDDR7 und GDDR6X. Beim Mining sind manche Algorithmen ebenfalls durch den Speicher begrenzt, was das Interesse an Einstellungen des Speichertakts erklärt.
Unsere Seite zur NVIDIA H200 zeigt, was eine sehr hohe Bandbreite für KI-Workloads bedeutet.