Ollama

Ollama ist ein freies Werkzeug, das die lokale Nutzung großer Sprachmodelle vereinfacht. Ein einziger Befehl genügt, um ein offenes Modell wie Llama, Mistral, Qwen, Gemma oder DeepSeek herunterzuladen und dann in einem Terminal mit ihm zu chatten. Es läuft unter Linux, Windows und macOS und erkennt kompatible Grafikkarten automatisch.

Ollama stützt sich unter anderem auf die Engine llama.cpp und auf Modelle im GGUF-Format, die meist quantisiert sind, um den Speicherbedarf zu senken. Es übernimmt das Laden des Modells auf die GPU, verteilt die Schichten zwischen VRAM und Arbeitsspeicher, wenn die Karte zu klein ist, und stellt eine lokale API bereit. Andere Programme wie Open WebUI, Code-Editoren oder Automatisierungswerkzeuge können sich so damit verbinden wie mit einem Online-Dienst, ohne dass die Daten die Maschine verlassen.

Damit es seine volle Stärke ausspielt, muss das Modell vollständig in den VRAM passen: Sobald ein Teil in den Arbeitsspeicher ausweicht, sinkt das Tempo stark. Auf einer Karte mit 16 GB sollten Sie Modelle bis etwa 14 Milliarden Parameter in 4-Bit-Quantisierung anpeilen. Mit zwei Karten kann Ollama ein größeres Modell verteilen. Es eignet sich ideal für den persönlichen Einsatz oder ein kleines Team; um viele gleichzeitige Nutzer zu bedienen, ist vLLM oft besser geeignet.

Unsere KI-Workstations werden mit vorinstalliertem und eingerichtetem Ollama ausgeliefert, kombiniert mit Open WebUI, damit Sie gleich beim ersten Einschalten loslegen können.