VRAM
Auch genannt: Grafikspeicher, Videospeicher, GPU-Speicher
In die Grafikkarte integrierter Speicher, in dem die GPU ihre Daten ablegt. In der KI bestimmt seine Größe, welche Modelle nutzbar sind.
VRAM, auch Grafikspeicher oder Videospeicher genannt, ist der Speicher, der direkt auf der Grafikkarte rund um den Grafikprozessor verbaut ist. Er ist vom Arbeitsspeicher des Computers getrennt und deutlich schneller. Gemessen wird er in Gigabyte: 8 GB bei einer Einsteigerkarte, mehrere Dutzend bei Profikarten und über 100 GB bei manchen Rechenzentrums-GPUs.
Für künstliche Intelligenz ist der VRAM oft das wichtigste Kriterium. Ein Sprachmodell muss mit seinen Parametern, seinem Kontext-Cache und den gerade verarbeiteten Daten in den Speicher passen. Als Größenordnung belegt jede Milliarde Parameter in 16-Bit-Präzision etwa 2 GB, nach einer Quantisierung zwei- bis viermal weniger. Reicht der VRAM nicht aus, lädt das Modell nicht oder wird sehr langsam. Beim Mining zählt die VRAM-Menge ebenfalls für einige speicherintensive Algorithmen.
Achten Sie auf der Produktseite auf die VRAM-Kapazität, den Speichertyp, etwa GDDR7 oder HBM, und die Bandbreite. Wenn Sie ein Modell lokal betreiben möchten, gehen Sie von der Größe des gewünschten Modells aus und rechnen Sie eine Reserve für das Kontextfenster ein. Mit mehreren GPUs lässt sich der Speicher auf die Karten verteilen, dann wird allerdings die Verbindung zwischen ihnen wichtig.
Unsere Kollektion mit GPUs für KI und unsere Themenseite helfen Ihnen, die passende VRAM-Menge für Ihre Modelle zu wählen.