Quantisierung
Auch genannt: 4 Bit, 8 Bit, Quantization
Technik, die die Gewichte eines KI-Modells mit weniger Bits speichert, 8 oder 4 statt 16, um Speicher zu sparen, bei geringem Qualitätsverlust.
Bei der Quantisierung werden die Parameter eines KI-Modells in ein kompakteres Format umgewandelt. Ein Modell wird in der Regel mit 16 Bit pro Parameter veröffentlicht; quantisiert kommt es auf 8 Bit, 4 Bit oder manchmal weniger. Das Modell bleibt dasselbe, aber jede Zahl wird gerundet, damit sie weniger Platz braucht.
Der Gewinn zeigt sich direkt beim Speicher. Ein Modell mit 8 Milliarden Parametern belegt in 16 Bit etwa 16 GB, in 8 Bit 8 GB und in 4 Bit rund 5 GB. Da die Textgenerierung vor allem davon begrenzt wird, wie schnell die GPU diese Gewichte lesen kann, antwortet ein quantisiertes Modell außerdem schneller. Der Preis ist ein leichter Qualitätsverlust, bei 8 Bit kaum spürbar, bei 4 Bit meist moderat und darunter deutlicher. Es gibt mehrere Verfahren, und fertige Modelle werden oft standardmäßig in 4 Bit angeboten.
In der Praxis entscheidet die Quantisierung darüber, was in Ihre Grafikkarte passt. Mit 16 GB Grafikspeicher läuft ein Modell mit 14 Milliarden Parametern in 4 Bit bequem; mit 32 GB sind Modelle mit rund 30 Milliarden Parametern möglich. Lassen Sie immer eine Reserve für das Kontextfenster, das ebenfalls Speicher belegt. Ein größeres, aber quantisiertes Modell liefert oft bessere Ergebnisse als ein kleines Modell in voller Genauigkeit.
Unsere KI-Workstations werden mit vorinstalliertem Ollama und Open WebUI ausgeliefert: Sie können quantisierte Modelle herunterladen und sofort nutzen.