Inferenz
Phase, in der ein fertig trainiertes KI-Modell genutzt wird, um zu antworten: Text erzeugen, ein Dokument oder Bild analysieren. Der KI-Alltag.
Inferenz bezeichnet die Nutzung eines KI-Modells nach Abschluss seines Trainings. Jedes Mal, wenn Sie einem Assistenten eine Frage stellen, ein Dokument zusammenfassen oder ein Bild beschreiben lassen, führt das Modell eine Inferenz aus: Es wendet an, was es gelernt hat, ohne seine Parameter zu verändern. Das ist das Gegenteil des Trainings, das das Modell erst aufbaut und weit mehr Ressourcen erfordert.
Bei einem Sprachmodell läuft die Inferenz in zwei Schritten ab. Zuerst liest das Modell Ihre gesamte Anfrage auf einmal ein: Dieser Schritt beansprucht vor allem die Rechenleistung. Dann erzeugt es die Antwort Token für Token und liest dabei jedes Mal alle seine Parameter aus dem Speicher: Dieser Schritt hängt vor allem von der Speicherbandbreite der GPU ab. Deshalb antwortet eine GPU mit sehr schnellem Speicher schneller, selbst bei vergleichbarer Rechenleistung.
Die gute Nachricht: Inferenz ist mit einer einzigen Maschine machbar. Für den persönlichen Einsatz oder ein kleines Team reicht eine Workstation mit einer oder zwei Grafikkarten für viele Modelle aus. Um Dutzende gleichzeitige Nutzer zu bedienen, wechselt man zu einem Multi-GPU-Server und einer optimierten Software wie vLLM. Zu prüfen sind Grafikspeicher, dessen Bandbreite, die unterstützten Genauigkeiten und die Leistungsaufnahme.
Unsere KI-Workstations und GPU-Server sind für lokale Inferenz ausgelegt: Ihre Daten bleiben in Ihren vier Wänden, ohne Abo für einen Online-Dienst.