LLM

LLM ist die Abkürzung für „Large Language Model“, auf Deutsch großes Sprachmodell. Es ist ein neuronales Netz vom Typ Transformer, das mit gigantischen Textmengen trainiert wurde, um die Regelmäßigkeiten der Sprache, von Code und des darin enthaltenen Wissens zu lernen. Chat-Assistenten beruhen auf dieser Art von Modell, ebenso wie offene Modellfamilien wie Llama, Mistral oder Qwen, die man bei sich zu Hause installieren kann.

Ein LLM arbeitet, indem es die wahrscheinlichste Fortsetzung eines Textes vorhersagt. Ihre Frage wird in Tokens zerlegt, also Wortteile, dann berechnet das Modell das nächste Token, hängt es an den Text an und wiederholt das bis zum Ende der Antwort. Sein Wissen steckt in seinen Parametern, Milliarden von Zahlen, die beim Training angepasst wurden. Ein LLM sucht nicht von sich aus im Internet und kann sich mit großer Überzeugung irren: Prüfen Sie wichtige Antworten immer nach.

Um ein LLM auf Ihrer eigenen Maschine zu betreiben, ist der Grafikspeicher der GPU das wichtigste Kriterium: Er muss das Modell aufnehmen, je nach Größe und Quantisierung, plus eine Reserve für den Kontext. Die Bandbreite dieses Speichers bestimmt dann das Antworttempo in Tokens pro Sekunde. Quantisiert passt ein Modell mit 7 bis 14 Milliarden Parametern auf eine Karte mit 16 GB; größere Modelle brauchen mehrere GPUs oder Profikarten.

Unsere KI-Workstations werden betriebsbereit mit Ollama und Open WebUI ausgeliefert: Ihr LLM läuft lokal, und Ihre Daten bleiben bei Ihnen.