vLLM

vLLM ist eine freie Software, entstanden an der Universität Berkeley, die auf die Inferenz großer Sprachmodelle spezialisiert ist. Während Ollama auf Einfachheit am Einzelarbeitsplatz setzt, zielt vLLM auf Durchsatz: Man nutzt es für Unternehmensassistenten, interne APIs oder Dienste, die viele gleichzeitige Anfragen erhalten.

Seine wichtigste Technik heißt PagedAttention. Sie legt den Cache des Kontextfensters in kleinen Blöcken ab, ähnlich dem virtuellen Speicher eines Betriebssystems, und vermeidet so verschwendeten VRAM. Zusammen mit der kontinuierlichen Verarbeitung von Anfragen, die die Anfragen mehrerer Nutzer in denselben Berechnungen bündelt, lassen sich mit derselben GPU deutlich mehr Unterhaltungen parallel bedienen. vLLM kann ein Modell außerdem auf mehrere Karten verteilen und bietet eine API, die mit den meisten gängigen Werkzeugen kompatibel ist.

vLLM wird vor allem unter Linux mit aktuellen NVIDIA-Karten eingesetzt. Standardmäßig reserviert es den Großteil des VRAM für seinen Cache: Der verfügbare Speicher bestimmt direkt die Zahl gleichzeitiger Nutzer und die mögliche Kontextlänge. Bei einem auf mehrere GPUs verteilten Modell verbessert eine schnelle Verbindung zwischen den Karten, etwa NVLink bei Modellen, die es unterstützen, die Leistung. Rechnen Sie mit etwas mehr Konfigurationsaufwand als bei Ollama.

Für ein Team oder ein Unternehmen dimensionieren wir gern eine Multi-GPU-Konfiguration für vLLM passend zur erwarteten Nutzerzahl.