Transformer
Auch genannt: Attention-Mechanismus, Aufmerksamkeitsmechanismus
Der Transformer ist die Architektur neuronaler Netze hinter LLMs: Sein Attention-Mechanismus setzt jedes Wort eines Textes mit den anderen in Beziehung.
Der Transformer ist eine Architektur für neuronale Netze, die 2017 von Google-Forschern im Artikel „Attention Is All You Need“ vorgestellt wurde. Heute bildet er die Grundlage fast aller großen Sprachmodelle wie GPT, Llama, Mistral oder Gemini und wird auch für Übersetzung, Computer Vision und Spracherkennung eingesetzt.
Seine zentrale Idee ist der Attention-Mechanismus. Der Text wird in Tokens zerlegt, jedes Token in einen Vektor umgewandelt, und dann berechnet das Modell für jedes Token die Bedeutung aller anderen. In „Der Miner wird heiß, weil er unter Volllast läuft“ hilft die Attention zu erkennen, dass sich „er“ auf den Miner bezieht. Diese Berechnungen laufen parallel als große Matrixmultiplikationen ab, was erklärt, warum GPUs mit ihren Tensor Cores so effizient beim Betrieb eines Transformers sind. Ein Modell stapelt Dutzende solcher Schichten übereinander.
Zwei Eigenschaften eines Modells zählen bei der Wahl einer Maschine. Seine Parameterzahl bestimmt den Speicher, der zum Laden nötig ist. Auch sein Kontextfenster spielt eine Rolle, denn der Aufwand für die Attention und der Speicherbedarf des Caches steigen mit der Länge des verarbeiteten Textes. Eine GPU mit viel VRAM und hoher Speicherbandbreite erzeugt mehr Tokens pro Sekunde.
Unsere Seite zur Funktionsweise eines LLM zeigt Schritt für Schritt, was in einem Transformer passiert, von der Zerlegung in Tokens bis zur Wahl des nächsten Wortes.