Embedding
Auch genannt: Vektor, Einbettung, Vektorisierung
Ein Embedding ist ein Vektor, eine Zahlenliste, die die Bedeutung eines Wortes, Satzes oder Dokuments abbildet: Ähnliche Texte haben ähnliche Vektoren.
Ein Computer versteht keine Wörter, er verarbeitet Zahlen. Ein Embedding, auf Deutsch auch Einbettung, übersetzt ein Element, sei es ein Token, ein Satz, ein Absatz oder sogar ein Bild, in einen Vektor aus mehreren hundert oder tausend Zahlen. Diese Zahlen verorten das Element in einem mathematischen Raum, in dem der Abstand die Bedeutungsähnlichkeit widerspiegelt.
Embeddings sind in der KI überall. Innerhalb eines LLM wird jedes Token zunächst in einen Vektor umgewandelt, bevor es die Schichten des Transformers durchläuft. Außerhalb dienen spezielle Embedding-Modelle der semantischen Suche: „Lüfterdefekt“ und „der Ventilator dreht nicht mehr“ erhalten benachbarte Vektoren, obwohl sie kaum ein Wort gemeinsam haben. Das ist die Grundlage von RAG: Die Dokumente werden in Vektoren umgewandelt und in einer Vektordatenbank gespeichert, sodass sich in Sekundenbruchteilen die Passagen finden lassen, die eine Frage beantworten.
Für einen Dokumenten-Assistenten ist die Wahl des Embedding-Modells ebenso wichtig wie die des LLM: Es muss Ihre Sprache und das Fachvokabular Ihrer Branche gut beherrschen. Diese Modelle sind viel kleiner als ein LLM und laufen problemlos daneben auf derselben GPU, doch die erste Vektorisierung großer Archive profitiert von einer schnellen Karte. Achtung: Wenn Sie das Embedding-Modell wechseln, müssen alle Dokumente neu vektorisiert werden.
Wenn wir einen privaten KI-Assistenten installieren, richten wir die Vektorisierung Ihrer Dokumente mit einem Modell ein, das zu Ihrer Sprache passt.