Begriffe

RAG, Embedding, Vektorsuche: was die Wörter bedeuten

In Angeboten für KI-Suche stehen vier Begriffe, die selten jemand erklärt und die zusammen einen einzigen Ablauf beschreiben. Wer sie in dieser Reihenfolge liest, kann Angebote vergleichen und merkt, an welcher Stelle ein Anbieter ausweicht.

Wie sich das im Alltag anfühlt, steht im Blog unter KI-Suche für Firmendokumente. Hier geht es um die Wörter selbst.

Das Grundproblem Die vier Begriffe Die unterschätzte Stellschraube Was RAG nicht ist Fragen

Warum es das gibt

Ein Sprachmodell weiß nichts über Ihren Betrieb

Ein Sprachmodell hat gelernt, wie Sprache funktioniert, nicht wie Ihre Preisliste aussieht. Ihre Verträge, Protokolle und Arbeitsanweisungen kennt es nicht, und es kann sie auch nicht erraten. Fragt man es trotzdem, bekommt man eine Antwort, die klingt wie aus Ihrem Haus und es nicht ist.

Der übliche Weg aus diesem Problem heißt RAG. Die Idee dahinter ist unspektakulär: Bevor das Modell antwortet, wird in Ihren Unterlagen nachgeschlagen, und nur das Gefundene darf als Grundlage dienen. Die vier Begriffe beschreiben die Stationen dieses Wegs.

In der Reihenfolge des Ablaufs

Die vier Begriffe

Chunking

Das Zerlegen langer Dokumente in kleine Abschnitte, bevor sie durchsuchbar gemacht werden.

Wozu: Legt fest, was später als eine Fundstelle gilt. Ein Abschnitt ist die Einheit, die das System findet, zitiert und vorlegt.

Worauf zu achten ist: Wird beim Einkauf nie erwähnt und bestimmt die Qualität stärker als das Modell. Zerschneidet die Zerlegung eine Tabelle oder trennt sie eine Bedingung von ihrer Ausnahme, findet das System die halbe Wahrheit und zeigt sie überzeugend.

Embedding

Die Übersetzung eines Textabschnitts in eine lange Zahlenreihe, die seine Bedeutung abbildet.

Wozu: Macht Ähnlichkeit rechenbar. Zwei Abschnitte über dasselbe Thema bekommen ähnliche Zahlenreihen, auch wenn sie kein Wort teilen.

Worauf zu achten ist: Das Modell, das diese Übersetzung macht, ist nicht dasselbe wie das Modell, das später antwortet. Wer ein Sprachmodell wechselt, hat damit die Suche nicht verbessert.

Vektorsuche

Die Suche über diese Zahlenreihen: gesucht wird die größte Ähnlichkeit, nicht die Übereinstimmung von Wörtern.

Wozu: Findet den Abschnitt über Kündigungsfristen auch dann, wenn dort „Beendigung des Vertragsverhältnisses" steht und Sie nach Kündigung gefragt haben.

Worauf zu achten ist: Ähnlichkeit ist nicht Richtigkeit. Die Suche liefert immer ein bestes Ergebnis, auch wenn das beste Ergebnis nicht passt. Ohne eine Untergrenze gibt ein System zu jeder Frage etwas aus.

RAG

Retrieval-Augmented Generation: erst in den eigenen Unterlagen suchen, dann das Gefundene dem Sprachmodell zum Antworten vorlegen.

Wozu: Verbindet die beiden Teile. Das Modell steuert die Sprache bei, Ihre Dokumente steuern den Inhalt bei, und die Fundstelle bleibt nachvollziehbar.

Worauf zu achten ist: Wird häufig mit Training verwechselt. Bei RAG lernt das Modell Ihre Dokumente nicht; es liest sie bei jeder Frage neu. Das ist der Grund, warum ein neues Dokument sofort wirkt und warum nichts davon im Modell hängen bleibt.

Die Stellschraube

Über die Qualität entscheidet das Zerlegen, nicht das Modell

In Gesprächen über KI-Suche geht es fast immer um das Sprachmodell. Die Arbeit, die über Brauchbarkeit oder Ärger bestimmt, passiert eine Station davor: beim Zerlegen der Dokumente.

Ein Beispiel aus der Praxis. In einer Arbeitsanweisung steht eine Regel, zwei Absätze weiter ihre Ausnahme für den Nachtdienst. Werden beide in denselben Abschnitt gelegt, liefert das System später beides zusammen. Werden sie getrennt, findet es die Regel, zitiert sie korrekt, und die Ausnahme taucht nirgends auf. Die Antwort ist dann belegt, nachvollziehbar und im Ergebnis falsch.

Deshalb lohnt sich beim Anbietergespräch die Frage, wie die Zerlegung funktioniert und ob sie sich für einzelne Dokumenttypen anpassen lässt. Tabellen, Verträge und Protokolle vertragen nicht dieselbe Behandlung. Wer darauf mit einer Zahl antwortet, etwa 500 Wörter je Abschnitt, hat die Frage nicht beantwortet.

Die häufigste Verwechslung

RAG ist kein Training

„Dann lernt die KI also unsere Dokumente" ist der Satz, der an dieser Stelle fast immer fällt. Er beschreibt etwas anderes. Beim Training werden Inhalte in das Modell eingearbeitet, was aufwendig ist und nach jeder Änderung wiederholt werden müsste. Bei RAG bleiben Ihre Unterlagen außerhalb und werden bei jeder Frage neu nachgeschlagen.

Der Unterschied ist im Alltag gut sichtbar. Ein Dokument, das Sie heute ablegen, wirkt sofort. Ein Dokument, das Sie löschen, ist wirklich weg und taucht in keiner späteren Antwort wieder auf. Und niemand muss befürchten, dass Betriebsinterna dauerhaft in einem Modell landen, das jemand anders betreibt.

Für Betriebe mit Schweigepflicht ist das der praktisch wichtigste Punkt dieses ganzen Textes. Was das rechtlich bedeutet, steht im Eintrag zu Betriebsrat und Berufsgeheimnis.

Nachgefragt

Häufige Fragen

Was bedeutet RAG?
Retrieval-Augmented Generation. In der Reihenfolge des Ablaufs: Das System sucht zuerst in Ihren hinterlegten Unterlagen nach passenden Abschnitten und legt diese dann einem Sprachmodell vor, das daraus die Antwort formuliert. Der Inhalt stammt aus Ihren Dokumenten, die Formulierung vom Modell.
Ist RAG dasselbe wie ein trainiertes Modell?
Nein, und die Verwechslung ist die häufigste in diesem Feld. Beim Training werden die Inhalte in das Modell eingearbeitet, bei RAG bleiben sie außerhalb und werden bei jeder Frage neu nachgeschlagen. Praktisch heißt das: Ein neu abgelegtes Dokument wirkt sofort, ein gelöschtes ist wirklich weg.
Warum findet die Suche etwas, das anders formuliert ist?
Weil nicht nach Wörtern gesucht wird, sondern nach Bedeutungsnähe. Jeder Abschnitt wird vorher in eine Zahlenreihe übersetzt, die seine Bedeutung abbildet. Abschnitte über dasselbe Thema liegen in diesen Zahlen nah beieinander, auch ohne gemeinsames Stichwort.
Was ist die wichtigste Stellschraube?
Die Zerlegung der Dokumente, das Chunking. Sie bestimmt, was das System als eine Fundstelle behandelt. Eine Zerlegung, die eine Regelung von ihrer Ausnahme trennt, erzeugt Antworten, die für sich genommen richtig aussehen und im Zusammenhang falsch sind.
Brauche ich dafür ein besonders großes Modell?
Für den Antwortteil genügt oft ein mittelgroßes Modell, weil der Inhalt aus Ihren Unterlagen kommt und nicht aus dem Modellwissen. Die Qualität hängt stärker an der Aufbereitung der Dokumente und an der Suche als an der Größe des Sprachmodells.

Nächster Schritt

Wie sich das an Ihren Unterlagen verhält

Ob eine Zerlegung zu Ihren Dokumenten passt, zeigt sich an Ihren Dokumenten, nicht an einer Vorführung mit fremdem Material. Wie wir ein Firmengedächtnis aufbauen und was es kostet, steht auf der Produktseite.

Firmengedächtnis ansehen → Warum Fundstellen zählen →

Stand: September 2026