Künstliche Intelligenz

Wie funktioniert ein LLM wie ChatGPT? In 3D erklärt

Verfolgen Sie einen echten Satz durch ein echtes Sprachmodell: Zerlegung in Tokens, Vektoren, Attention, neuronales Netz, 24 Schichten und Wahl des nächsten Wortes. Jedes farbige Kästchen ist eine Zahl, die das Modell tatsächlich berechnet hat.

Tour startenUnsere KI-Server
494 Mio.
Parameter im gezeigten Modell
24
Schichten, die jedes Wort durchläuft
896
Zahlen zur Beschreibung eines Tokens
96,4 %
Sicherheit für « Nak(amoto) »
Interaktive Visualisierung

Ein Satz durchläuft das Modell

Wählen Sie einen Satz und gehen Sie dann Kapitel für Kapitel weiter. Fahren Sie mit der Maus über einen Block, um seine Werte zu lesen; ziehen Sie zum Drehen, nutzen Sie Mausrad oder Zwei-Finger-Geste zum Zoomen.

Modell wird geladen…

Satz:

Ziehen zum Drehen · Mausrad oder Zwei-Finger-Geste zum Zoomen · Pfeiltasten ← → zum Wechseln des Kapitels

Was ist ein LLM? Eine Maschine, die das nächste Wort errät

ChatGPT, Gemini, Mistral oder Llama sind LLM, Large Language Models (große Sprachmodelle). Hinter ihren seitenlangen Antworten steckt ein verblüffend einfacher Mechanismus: Das Modell liest einen Text und berechnet für jedes mögliche Wort die Wahrscheinlichkeit, dass es als Nächstes folgt. Es wählt eines aus, hängt es an den Text an und beginnt von vorn. Alles andere, Grammatik, Fakten, logisches Denken, entsteht aus dieser einen Aufgabe, die während des Trainings milliardenfach wiederholt wird.

Die Visualisierung oben auf dieser Seite zeigt kein Prinzipschema, sondern ein echtes Modell: Qwen2.5-0.5B, ein offenes Modell von Alibaba mit 494 Millionen Parametern, beim Lesen des Satzes « Le bitcoin a été créé par Satoshi » („Bitcoin wurde von Satoshi geschaffen“). Jedes farbige Feld der 3D-Ansicht ist ein Wert, den das Modell tatsächlich berechnet hat: grün die positiven Zahlen, orange die negativen, cyan und violett die gelernten Gewichte. Fahren Sie mit der Maus über einen Block, um den genauen Wert abzulesen.

Schritt 1: den Satz in Tokens zerlegen

Ein Modell liest weder Buchstaben noch Wörter, sondern Tokens: Textstücke aus einem festen Wörterbuch mit rund 150.000 Einträgen. Häufige Wörter haben ein eigenes Token, seltene Wörter werden in Stücke zerlegt. Unser Satz ergibt 7 Tokens, darunter « ·bitcoin » und « ·Satoshi » (der Punkt steht für das Leerzeichen vor dem Wort). « Eiffel » dagegen wird zu « ·E », « iff » und « el », und das Modell wird « Nakamoto » in zwei Schritten schreiben: erst « ·Nak », dann « amoto ».

Jedes Token wird durch seine Nummer im Wörterbuch ersetzt: « ·bitcoin » ist Token Nr. 17.873. Ab diesem Punkt verarbeitet das Modell nur noch Zahlen.

Schritt 2: Embeddings – Wörter werden zu Vektoren

Die Nummer dient als Adresse in einer großen Tabelle mit 151.936 Zeilen und 896 Spalten, der Embedding-Tabelle. Jedes Token holt sich dort seine Zeile: eine Liste von 896 Zahlen, die zusammenfasst, was das Modell über dieses Token gelernt hat. Tokens mit ähnlicher Bedeutung haben ähnliche Vektoren. Diese 136 Millionen Zahlen wurden nicht von Hand geschrieben: Sie wurden während des Trainings angepasst, wie alle anderen Gewichte auch.

h^{(0)}_i=E\big[\mathrm{id}_i\big]\in\mathbb{R}^{896},\qquad E\in\mathbb{R}^{151\,936\times 896}

Unser Satz wird so zu einem Block aus 7 Zeilen und 896 Spalten. Dieser Block durchläuft das gesamte Modell und wird dabei auf jeder Schicht angereichert: Man nennt ihn den Residualstrom, die leuchtende Säule in der 3D-Ansicht.

Schritt 3: Attention – wie die Wörter einander betrachten

Um « créé par Satoshi » zu verstehen, muss jedes Token Informationen bei den anderen abrufen können. Das ist die Aufgabe der Attention (Aufmerksamkeit), des Mechanismus im Herzen des Transformers, der Architektur nahezu aller LLM seit 2017. Jeder Vektor wird zunächst normalisiert und dann mit drei Gewichtsmatrizen multipliziert, um drei neue Vektoren zu erzeugen:

  • eine Anfrage (Q, Query): wonach das Token sucht;
  • einen Schlüssel (K, Key): was es den anderen anbietet;
  • einen Wert (V, Value): die Information, die es weitergibt, wenn es ausgewählt wird.

Jedes Token vergleicht seine Anfrage mit den Schlüsseln aller vorhergehenden Tokens. Je größer das Produkt, desto stärker „schaut“ es auf dieses Token, und es erhält eine Mischung der Werte, gewichtet nach diesen Scores. Es kann nie auf die nachfolgenden Tokens schauen, was den Attention-Tabellen ihre Dreiecksform verleiht. Die Position jedes Wortes wird eingebracht, indem die Vektoren um einen Winkel gedreht werden, der von ihrer Position abhängt (die RoPE-Technik).

\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\!\Big(\frac{QK^{\top}}{\sqrt{64}}+M\Big)\,V,\qquad M_{ij}=\begin{cases}0&\text{falls } j\le i\\-\infty&\text{falls } j>i\end{cases}

Das Modell führt diese Berechnung 14-mal parallel aus, mit 14 Köpfen (Heads), die jeweils lernen, etwas anderes zu erkennen. In unserem Beispiel richtet in der 3. Schicht Kopf Nr. 1 87 % der Attention von « ·Satoshi » auf « ·par ». Man beobachtet außerdem ein in der Forschung gut bekanntes Phänomen: Im Durchschnitt entfallen 59 % der Attention des letzten Tokens auf das allererste, « Le », das als Ruhepunkt dient, wenn es nichts Nützliches zu lesen gibt.

Schritt 4: das MLP, das Gedächtnis des Modells

Nach der Attention durchläuft jedes Token einzeln ein MLP-Netz: Sein Vektor aus 896 Zahlen wird auf 4.864 Dimensionen projiziert, durch eine Aktivierungsfunktion (SwiGLU) gefiltert und dann wieder auf 896 zurückgeführt. Diese Matrizen enthalten fast zwei Drittel der Parameter des Modells. Arbeiten zur Interpretierbarkeit legen nahe, dass hier zu einem guten Teil die gelernten Assoziationen gespeichert sind, etwa « Satoshi » zu « Nakamoto ».

\operatorname{MLP}(x)=\Big(\operatorname{SiLU}\big(xW_{\text{gate}}\big)\odot xW_{\text{up}}\Big)\,W_{\text{down}},\qquad\operatorname{SiLU}(u)=\frac{u}{1+e^{-u}}

Weder das Ergebnis der Attention noch das des MLP überschreibt den Vektor: Es wird zu ihm addiert. Jede Schicht schreibt ihren Beitrag in den Residualstrom, der die Information von unten nach oben ansammelt.

Schritt 5: 24 Schichten – und eine Antwort, die erst am Ende entsteht

Attention und anschließend MLP bilden einen Block. Qwen2.5-0.5B stapelt 24 in ihrer Form identische Blöcke, jeder mit eigenen Gewichten. Sehr große Modelle stapeln 80 oder mehr, mit Vektoren aus über 8.000 Zahlen.

Algorithmus 1 · Der Vorwärtsdurchlauf eines LLM

\begin{array}{rll} \textbf{Eingabe:}&\text{ein Satz } x&\\ 1:&\text{ids}\leftarrow\operatorname{tokenisieren}(x)&\triangleright\ n\ \text{Tokens}\\ 2:&h\leftarrow E[\text{ids}]&\triangleright\ n\times 896\\ 3:&\textbf{für }\ell=1\textbf{ bis }24:&\\ 4:&\quad h\leftarrow h+\operatorname{Attn}_\ell\big(\operatorname{RMSNorm}(h)\big)&\triangleright\ \text{Attention}\\ 5:&\quad h\leftarrow h+\operatorname{MLP}_\ell\big(\operatorname{RMSNorm}(h)\big)&\triangleright\ \text{neuronales Netz}\\ 6:&z\leftarrow\operatorname{RMSNorm}(h_n)\,E^{\top}&\triangleright\ 151\,936\ \text{Scores}\\ 7:&p\leftarrow\operatorname{softmax}(z/T)&\triangleright\ \text{Wahrscheinlichkeiten}\\ \textbf{Ausgabe:}&p&\triangleright\ p(\text{„Nak“})=96{,}4\,\% \end{array}

Man kann dem Modell unterwegs über die Schulter schauen: Am Ausgang jeder Schicht übersetzt man den Vektor des letzten Tokens in ein Wort, als müsste das Modell sofort antworten. Das ist die logit lens, die in der 3D-Ansicht rechts neben jeder Schicht angezeigt wird. Das Ergebnis ist verblüffend: 22 Schichten lang ergeben die Vorschläge keinen Sinn (Codefragmente, chinesische Schriftzeichen), dann taucht die Antwort schlagartig auf. « ·Nak » erscheint erst in der 24. und letzten Schicht; bei « La tour Eiffel se trouve à » („Der Eiffelturm befindet sich in“) erscheint « ·Paris » in der 23. Schicht.

Schritt 6: das nächste Wort wählen – und die Temperatur

Der finale Vektor wird mit jeder der 151.936 Zeilen der Embedding-Tabelle verglichen, derselben wie zu Beginn: eine Zeile pro Token des Wörterbuchs. Jedes Token erhält einen Score, der in eine Wahrscheinlichkeit umgewandelt wird. Hier gewinnt « ·Nak » mit 96,4 %, weit vor « ·nak » (0,43 %). Beim Eiffelturm zögert das Modell stärker: « ·Paris » mit 34,4 %, vor « ·la » mit 13,5 %.

p_v=\frac{e^{z_v/T}}{\displaystyle\sum_{u=1}^{151\,936}e^{z_u/T}}\qquad\text{(}T\text{: die Temperatur)}

Ein Chatbot nimmt nicht immer die erste Wahl: Er lost aus, gemäß diesen Wahrscheinlichkeiten. Die Temperatur regelt diesen Zufall. Ist sie niedrig, wird das Modell vorhersehbar und repetitiv; ist sie hoch, flacht sie die Wahrscheinlichkeiten ab und macht es kreativer, bis hin zur Inkohärenz. Der Schieberegler in der 3D-Ansicht berechnet die Balken live neu.

Schritt 7: generieren, ein Token nach dem anderen

Das gewählte Token wird an den Satz angehängt, und alles beginnt von vorn: Zerlegung, Embeddings, 24 Schichten, Wahrscheinlichkeiten. Nach « ·Nak » ist sich das Modell zu 99,5 % sicher, dass « amoto » folgt, dann schreibt es « en 2008 » („im Jahr 2008“). Eine ChatGPT-Antwort mit 500 Wörtern entspricht etwa 700 vollständigen Durchläufen durch das Modell. Damit nicht jedes Mal alles neu berechnet werden muss, werden die bereits berechneten Schlüssel und Werte im Speicher gehalten (der KV cache).

Algorithmus 2 · Die Generierung, Token für Token

\begin{array}{rll} \textbf{Eingabe:}&\text{ein Textanfang } x_1,\dots,x_t&\\ 1:&\textbf{wiederhole}&\\ 2:&\quad p\leftarrow\operatorname{LLM}(x_1,\dots,x_t)&\triangleright\ \text{Algorithmus 1}\\ 3:&\quad x_{t+1}\sim p&\triangleright\ \text{Ziehung, oder }\arg\max p\\ 4:&\quad t\leftarrow t+1&\\ 5:&\textbf{bis }x_t=\langle\text{Ende}\rangle\ \text{oder maximale Länge}&\\ \textbf{Ausgabe:}&x_1,\dots,x_t& \end{array}

Und das Training?

Niemand hat die 494 Millionen Gewichte programmiert. Zu Beginn sind es Zufallszahlen. Man zeigt dem Modell riesige Textmengen (bis zu 18.000 Milliarden Tokens bei der Qwen2.5-Familie), lässt es an jeder Position das nächste Token erraten und korrigiert jedes Gewicht leicht in die Richtung, die den Fehler verringert hätte. Tausende Milliarden Mal wiederholt, genügt diese Korrektur, um die Sprache und einen guten Teil des Wissens hervorzubringen. Ein Assistent wie ChatGPT durchläuft danach eine zweite Trainingsphase mit Gesprächen, um zu lernen, Anweisungen zu befolgen.

Warum KI GPUs braucht

Jedes generierte Token erfordert etwa zwei Operationen pro Parameter: eine Milliarde Operationen für unser kleines Modell, 140 Milliarden für ein Modell mit 70 Milliarden Parametern. Vor allem müssen bei jedem Token alle Gewichte erneut aus dem Speicher gelesen werden. Es ist die Speicherbandbreite, mehr als die Rechenleistung, die die Geschwindigkeit eines LLM begrenzt.

\text{Operationen pro Token}\approx 2N,\qquad t_{\text{Token}}\gtrsim\frac{\text{Größe der Gewichte}}{\text{Bandbreite}}=\frac{70\ \text{GB}}{4{,}8\ \text{TB/s}}\approx 15\ \text{ms}

Genau deshalb sind KI-GPUs mit HBM-Speicher ausgestattet: Der NVIDIA H200 bietet 141 GB mit 4,8 TB/s, sodass ein Modell mit 70 Milliarden Parametern in FP8 auf eine einzige Karte passt. GPT-3 (175 Milliarden Parameter) belegt 350 GB in BF16 und benötigt allein für seine Gewichte mindestens drei H200. Und das ist auch der Grund, warum ein Mining-Chip keine KI ausführen kann: Ein ASIC ist für eine einzige Berechnung festverdrahtet, während ein LLM Matrixmultiplikationen aneinanderreiht, deren Gewichte sich von Schicht zu Schicht ändern. Wir erklären das ausführlich in ASIC oder GPU: Was ist der Unterschied?

Wer ein Modell im eigenen Haus auf eigenen Servern betreibt, behält die Daten im Unternehmen. Wir konzipieren solche Maschinen, von der Workstation bis zum 8-GPU-Server: Sehen Sie sich unsere GPU-Server für KI und unseren privaten KI-Assistenten an.

Die Modelle hinter ChatGPT sind weit größer und ihre Details sind nicht öffentlich, doch sie gehören zur selben Familie wie das Modell auf dieser Seite, dem Decoder-Transformer, der bis GPT-3 öffentlich beschrieben wurde. Haben Sie eine Frage zur KI oder zur Hardware, auf der sie läuft? Rufen Sie uns an unter +33 6 32 49 26 41.

Häufige Fragen

LLM, Tokens und GPU: Ihre Fragen

Was ist ein LLM?

Ein LLM (Large Language Model, großes Sprachmodell) ist ein neuronales Netz, das mit riesigen Textmengen auf eine einzige Aufgabe trainiert wurde: das nächste Token vorherzusagen. ChatGPT, Gemini, Mistral, Llama oder Qwen basieren auf LLMs. Antworten, Übersetzen, Zusammenfassen oder Code schreiben ergibt sich aus dieser Vorhersage, Token für Token wiederholt.

Was ist ein Token?

Ein Stück Text: ein häufiges Wort, ein Teil eines seltenen Wortes, ein Satzzeichen. Das Modell arbeitet nur mit diesen Stücken, die jeweils durch eine Nummer in einem Wörterbuch mit über 100.000 Einträgen gekennzeichnet sind. Im Französischen rechnet man oft mit etwas mehr als einem Token pro Wort, und in Tokens werden sowohl die Länge der Texte, die ein Modell lesen kann, als auch der Preis von KI-Diensten gemessen.

Wie wählt ChatGPT das nächste Wort?

Bei jedem Schritt berechnet das Modell eine Wahrscheinlichkeit für jedes Token seines Wörterbuchs, ausgehend von allem, was vorausgeht. Es zieht eines davon nach einer Regel, die über die Temperatur eingestellt wird: Ist sie niedrig, nimmt es fast immer das wahrscheinlichste; ist sie höher, erlaubt es sich weniger erwartbare Entscheidungen. Dann beginnt es von vorn mit dem um ein Token verlängerten Text.

Versteht ein LLM, was es schreibt?

Es baut Schicht für Schicht Repräsentationen auf, die Grammatik, Fakten und einen Teil der Schlussfolgerungen aus seinen Trainingsdaten erfassen. Ob das den Begriff „verstehen“ verdient, ist umstritten. Sicher ist: Es berechnet Wahrscheinlichkeiten, ohne Fakten zu prüfen, und kann daher mit Überzeugung etwas Falsches behaupten (eine „Halluzination“).

Warum braucht man GPUs, um eine KI zu betreiben?

Weil die gesamte Berechnung aus Matrixmultiplikationen besteht, die GPUs parallel auf Tausenden von Kernen ausführen, und weil jedes Token erfordert, alle Gewichte des Modells erneut zu lesen: Man braucht viel sehr schnellen Speicher. Eine NVIDIA H200 bietet 141 GB mit 4,8 TB/s, genug, um ein Modell mit 70 Milliarden Parametern in FP8 unterzubringen.

Kann man ein LLM zu Hause oder im eigenen Unternehmen betreiben?

Ja. Kleine offene Modelle wie das auf dieser Seite laufen auf einem gewöhnlichen Computer. Modelle mit 30 bis 70 Milliarden Parametern benötigen eine oder mehrere GPU-Karten mit viel Speicher. Wir entwerfen und installieren private KI-Assistenten und KI-Server: Ihre Daten bleiben bei Ihnen.

Welches Modell wird auf dieser Seite gezeigt?

Qwen2.5-0.5B, ein Modell mit 494 Millionen Parametern, das von Alibaba frei zugänglich veröffentlicht wurde. Die Gewichte von GPT und ChatGPT sind nicht öffentlich; daher haben wir ein Modell aus derselben Familie (Decoder-Transformer) gewählt, das klein genug ist, um jede seiner Berechnungen zeigen zu können. Alle angezeigten Zahlen stammen von diesem Modell für den gewählten Satz.

Was ist der Unterschied zwischen GPT und ChatGPT?

GPT bezeichnet die Modellfamilie von OpenAI (Generative Pre-trained Transformer): LLMs wie das auf dieser Seite, nur sehr viel größer. ChatGPT ist der darauf aufbauende Assistent, der zusätzlich darauf trainiert wurde, Anweisungen zu befolgen und Dialoge zu führen. Der Kern der Berechnung, die Vorhersage des nächsten Tokens, ist derselbe.

KI bei Ihnen vor Ort betreiben?

Wir entwerfen und installieren private KI-Server, von der Workstation bis zum 8-GPU-Server, damit Ihre Daten in Ihren eigenen vier Wänden bleiben.

+33 6 32 49 26 41Beratung anfragenUnsere KI-Server ansehen