Risiko
Wenn die Antwort richtig klingt und falsch ist
„Und was, wenn das Ding Unsinn erzählt?" ist die häufigste Frage vor der Einführung eines KI-Systems. Sie ist berechtigt, und die beruhigende Antwort wäre gelogen. Sprachmodelle geben Falsches im selben sicheren Ton aus wie Richtiges. Was sich bauen lässt, ist kein System, das nie irrt, sondern eines, in dem ein Irrtum in Sekunden auffällt.
Der Mechanismus
Kein Fehler, sondern die Funktionsweise
Der Begriff Halluzination legt eine Störung nahe, so als liefe etwas aus dem Ruder, das sich reparieren ließe. Tatsächlich beschreibt er den Normalbetrieb. Ein Sprachmodell setzt Text so fort, wie es aufgrund seiner Trainingsdaten wahrscheinlich ist. Es prüft dabei nicht, ob die Fortsetzung zutrifft, weil es dafür keinen Begriff von zutreffend hat.
Daraus folgt die unangenehme Eigenschaft: Eine erfundene Paragrafennummer entsteht auf demselben Weg wie eine richtige. Beide sehen aus wie eine Paragrafennummer, beide stehen in einem gut gebauten Satz. Wer darauf wartet, dass ein Modell bei Unsicherheit zögert, wartet auf ein Verhalten, das nicht vorgesehen ist.
Menschen irren sich auch, nur anders. Ein Mitarbeiter, der eine Vorschrift nicht kennt, sagt es meistens oder klingt zumindest unsicher. Genau dieses Signal fehlt hier. Die Kontrolle, die im Betrieb bisher nebenbei durch Tonfall und Zögern lief, muss deshalb ausdrücklich eingebaut werden.
Im Arbeitsalltag
Drei Stellen, an denen es teuer wird, und eine, an der es kaum stört
Zahlen, Paragrafen, Aktenzeichen
Alles, was wie eine Referenz aussieht, ist besonders anfällig, weil das Muster leicht nachzubilden ist. Eine erfundene Fundstelle sieht aus wie eine echte und lässt sich nur durch Nachschlagen unterscheiden.
Die Zusammenfassung, die etwas ergänzt
Beim Verdichten langer Unterlagen entsteht gelegentlich ein Satz, der im Original nicht steht und gut dorthin passen würde. Das fällt niemandem auf, der die Unterlage nicht selbst gelesen hat, und das ist der Zweck der Zusammenfassung.
Die Lücke im eigenen Bestand
Wird nach etwas gefragt, das in den hinterlegten Dokumenten fehlt, füllt ein frei antwortendes System die Lücke aus seinem Training. Die Antwort klingt dann nach Ihrem Betrieb, stammt aber von woanders.
Wo es kaum stört
Beim Formulieren eines Textentwurfs, dessen Inhalt Sie ohnehin kennen, ist das Risiko gering. Die Frage ist nie, ob ein System irren kann, sondern ob der Irrtum an dieser Stelle auffällt.
Das Gegenmittel
Eine Fundstelle schlägt jedes Vertrauen
Wirksam ist nicht das bessere Modell, sondern die nachprüfbare Antwort. Der Unterschied liegt darin, was Sie als Nutzer tun müssen. Ohne Fundstelle müssen Sie beurteilen, ob eine Aussage stimmt, und dafür brauchen Sie das Fachwissen, wegen dessen Fehlen Sie gefragt haben. Mit Fundstelle vergleichen Sie nur noch: Sie schlagen die genannte Seite auf und lesen nach, ob dort steht, was das System behauptet.
Drei Eigenschaften machen ein System prüfbar. Erstens antwortet es aus einem festgelegten Bestand an Dokumenten, nicht aus allem, was es je gelesen hat. Zweitens nennt es zu jeder Aussage die Stelle, aus der sie stammt, mit Dokument und Abschnitt. Drittens sagt es nichts, wenn es nichts findet, statt die Lücke zu füllen.
Der dritte Punkt wird beim Einkauf gern übersehen und ist der wichtigste. Ein System, das bei fehlender Fundstelle schweigt, wirkt im Vergleich schwächer: Es sagt öfter, dass es nichts weiß. Im Betrieb ist das der Unterschied zwischen einem Werkzeug, dem Ihre Leute glauben dürfen, und einem, das gelegentlich etwas erfindet und damit jede einzelne Auskunft entwertet.
Verbreitete Irrtümer
Was die Lage nicht verbessert
Das Modell nachfragen, ob es sicher ist. Die Rückfrage erzeugt eine weitere wahrscheinliche Fortsetzung, keine Prüfung. Ein Modell, das eben eine Fundstelle erfunden hat, bestätigt sie auf Nachfrage bereitwillig.
Ein größeres Modell einsetzen. Die Häufigkeit sinkt, das Prinzip bleibt. Wer nach etwas fragt, das im Bestand nicht vorkommt, bekommt weiterhin eine Antwort statt eines Hinweises auf die Lücke.
Die Anweisung, nichts zu erfinden. Sie hilft messbar ein wenig und ist keine Sicherung. Eine Bitte um Wahrhaftigkeit an ein System, das Wahrheit nicht prüfen kann, bleibt eine Bitte.
Eine Freigabe durch Menschen als einzige Kontrolle. Sie funktioniert, solange wenig geprüft wird. Nach vierzig plausiblen Antworten sinkt die Aufmerksamkeit für die einundvierzigste, und genau darauf verlassen sich Prüfroutinen, die keine Fundstelle vorlegen.
Nachgefragt
Häufige Fragen
Was ist eine Halluzination bei KI?
Erkennt man Halluzinationen an der Formulierung?
Hilft ein größeres Modell?
Was ändert eine Quellenangabe daran?
Kann man das Erfinden ganz abstellen?
Nächster Schritt
Die Frage, die Sie jedem Anbieter stellen sollten
„Zeigen Sie mir eine Antwort mit Fundstelle, und zeigen Sie mir, was passiert, wenn die Antwort nicht in den Unterlagen steht." Wer beides vorführen kann, hat das Thema bedacht. Wie wir das lösen, steht auf der Seite zum Firmengedächtnis.
Stand: September 2026