Modellparameter
Auch genannt: Milliarden Parameter, Parameterzahl, Gewichte
Beim Training angepasste Zahlen, die das Wissen eines KI-Modells enthalten. Ihre Anzahl in Milliarden gibt seine Größe und den nötigen Speicher an.
Die Parameter eines KI-Modells sind die Zahlen, auch Gewichte genannt, die seine künstlichen Neuronen miteinander verbinden. Anfangs sind sie zufällig; während des Trainings werden sie sehr oft angepasst, bis das Modell gute Antworten liefert. Nach Abschluss des Trainings enthalten sie alles, was das Modell gelernt hat. Ihre Anzahl dient zur Angabe der Modellgröße: 8B, 70B oder 405B, wobei das B für das englische „billion“ steht, also eine Milliarde.
Je mehr Parameter ein Modell hat, desto mehr Wissen kann es speichern und desto feiner kann es schlussfolgern, aber desto mehr Speicher und Rechenleistung braucht es auch. Jeder Parameter belegt in 16 Bit 2 Byte: Ein Modell mit 70 Milliarden Parametern ist also etwa 140 GB groß und nach einer Quantisierung auf 4 Bit rund 40 GB. Mixture-of-Experts-Modelle unterscheiden zwischen der Gesamtzahl der Parameter und der Zahl der pro Token aktiven Parameter, wodurch sie schneller sind, als ihre Größe vermuten lässt.
Gehen Sie bei der Wahl einer Maschine vom gewünschten Modell aus. In 4 Bit rechnen Sie mit etwas mehr als der Hälfte der Parameterzahl in Milliarden als Gigabyte, plus eine Reserve für den Kontext. Eine Karte mit 16 GB betreibt Modelle bis etwa 14 Milliarden Parameter, mit 32 GB kommt man auf rund 30 Milliarden, und Modelle mit 70 Milliarden brauchen mindestens 48 GB. Ein neueres, kleineres Modell kann übrigens ein größeres, aber älteres Modell schlagen.
Unsere KI-Workstations reichen von einer Karte mit 16 GB bis zu mehreren Profikarten mit 96 GB: Sagen Sie uns, welche Modelle Sie nutzen möchten, und wir führen Sie zur passenden Konfiguration.