Kontextfenster

Ein Sprachmodell kann einen Text nicht unbegrenzt lesen. Bei jeder Anfrage erhält es eine Menge an Tokens: die Anweisungen, den bisherigen Gesprächsverlauf, eventuell angehängte Dokumente und dann die Antwort, die es erzeugt. Das Kontextfenster ist die maximale Größe dieser Menge. Es wird in Tokens angegeben, zum Beispiel 8.000, 32.000 oder 128.000. Ein häufiges Wort ist oft ein einziges Token, ein langes oder seltenes Wort besteht aus mehreren.

Alles, was über das Fenster hinausgeht, wird ignoriert: In einer langen Unterhaltung „vergisst“ das Modell irgendwann den Anfang. Es ist ein Arbeitsgedächtnis, kein dauerhaftes Gedächtnis. Ein großes Fenster erlaubt es, einen ganzen Vertrag oder eine umfangreiche Codebasis in einem Durchgang zu analysieren, kostet aber viel Rechenleistung und Speicher, weil das Modell für jedes Token Zwischendaten aufbewahrt, den sogenannten Key-Value-Cache.

Auf einer lokalen Maschine begrenzt oft der VRAM das tatsächlich nutzbare Fenster, lange bevor die theoretische Grenze des Modells erreicht ist. Ein Modell, das mit kurzem Kontext in 16 GB passt, passt mit einem Kontext von 64.000 Tokens unter Umständen nicht mehr hinein. Werkzeuge wie Ollama oder vLLM erlauben es, diese Länge einzustellen. Um große Dokumentenmengen zu nutzen, vermeidet RAG, alles auf einmal zu laden, indem nur die relevanten Passagen an das Modell übergeben werden.

Wenn wir eine KI-Workstation konfigurieren, berücksichtigen wir die benötigte Kontextlänge bei der Wahl der GPU-Speichermenge.