Fine-Tuning
Auch genannt: Training, Nachtraining, Feinabstimmung, LoRA
Beim Fine-Tuning wird ein bestehendes KI-Modell mit Ihren eigenen Daten nachtrainiert, um es an eine Aufgabe, einen Stil oder ein Fachvokabular anzupassen.
Fine-Tuning, auf Deutsch auch Feinabstimmung, geht von einem Modell aus, das bereits mit riesigen Mengen an Texten oder Bildern trainiert wurde, und lässt es erneut mit einem kleineren, gezielten Datensatz arbeiten. Das Modell behält sein Allgemeinwissen, lernt aber einen Ton, ein Antwortformat oder ein Fachvokabular: juristisch, medizinisch, technisch oder einfach das Ihres Unternehmens.
Alle Parameter eines großen Modells neu zu trainieren erfordert viel Speicher und mehrere High-End-GPUs. Deshalb sind Methoden wie LoRA weit verbreitet: Sie frieren das Ausgangsmodell ein und trainieren nur kleine, zusätzlich angefügte Matrizen, einige Millionen Parameter statt mehrerer Milliarden. Das Ergebnis passt in eine kleine Datei, die man über das Basismodell lädt. Fine-Tuning ist nicht immer die richtige Antwort: Damit eine KI Ihre Dokumente kennt, ist RAG oft einfacher und leichter aktuell zu halten.
Auf der Hardwareseite ist die VRAM-Menge das erste Kriterium. Ein LoRA auf einem Modell mit 7 bis 8 Milliarden Parametern, das in quantisierter Form geladen wird, ist mit einer 16-GB-Karte machbar. Ein vollständiges Fine-Tuning desselben Modells braucht deutlich mehr, oft mehrere miteinander verbundene GPUs. Achten Sie außerdem auf die Speicherbandbreite und die Unterstützung aktueller Rechenformate wie BF16.
Wir bauen Workstations und GPU-Rigs, die sich für Training ebenso wie für Inferenz eignen, und helfen Ihnen, den Speicher passend zu den angestrebten Modellen zu dimensionieren.