RAG

RAG steht für Retrieval-Augmented Generation, also abrufgestützte Generierung. Das Prinzip ist einfach: Bevor die KI antwortet, sucht sie in einer Dokumentenbasis nach den Passagen, die die Frage betreffen, und nutzt sie dann, um ihre Antwort zu formulieren. Diese Technik steckt hinter den meisten Dokumenten-Assistenten in Unternehmen.

Der Ablauf hat zwei Phasen. Zuerst die Indexierung: Die Dokumente werden in Stücke zerlegt, jedes Stück wird in ein Embedding umgewandelt, einen Vektor, der seine Bedeutung zusammenfasst, und in einer Vektordatenbank abgelegt. Dann wird bei jeder Frage auch diese in einen Vektor umgewandelt, die ähnlichsten Stücke werden gefunden und dem LLM in seinem Kontextfenster übergeben. Das Modell antwortet also nicht mehr aus dem Gedächtnis: Es stützt sich auf Ihre Texte, kann seine Quellen nennen und irrt sich deutlich seltener. Um den Assistenten zu aktualisieren, genügt es, ein Dokument hinzuzufügen, ohne erneutes Training.

Die Qualität hängt ebenso von der Vorbereitung ab wie von der Hardware: saubere Dokumente, per OCR erfasste Scans, eine sinnvolle Aufteilung und ein gutes Embedding-Modell. Auf der Maschine müssen sowohl das Embedding-Modell als auch das LLM laufen. Eine Karte mit 16 GB reicht für den Einstieg; mehr VRAM erlaubt ein leistungsfähigeres Modell und einen längeren Kontext, um mehr Passagen zu zitieren. Open WebUI bringt bereits eine RAG-Funktion für erste Versuche mit.

Wir installieren in Ihren Räumen private KI-Assistenten, die mit Ihren Dokumenten verbunden sind, mit Hardware, Installation und Begleitung, auf Anfrage.