Das Problem, das RAG löst

Jedes Large Language Model wird anhand einer Momentaufnahme des Internets trainiert, die bis zu einem bestimmten Datum reicht, dem sogenannten Wissensstichtag. Der Wissensstichtag von GPT-4o liegt Anfang 2024. Fragen Sie nach Ereignissen, die danach stattgefunden haben, wird das Modell entweder seine Unwissenheit eingestehen oder, schlimmer noch, selbstbewusst plausibel klingende, aber falsche Informationen erfinden. Für Anwendungen, die aktuelles oder proprietäres Wissen benötigen, ist dies ein grundlegendes Problem.

Halluzinationen treten auf, wenn ein LLM Text erzeugt, der überzeugend klingt, aber faktisch falsch ist. Modelle werden darauf trainiert, flüssigen und schlüssigen Text zu erzeugen – sie werden nicht ausdrücklich darauf trainiert, die Antwort zu verweigern, wenn sie etwas nicht wissen. Daher füllen sie Wissenslücken mit plausiblen Vermutungen. Studien zeigen, dass selbst die besten Modelle bei wissensintensiven Aufgaben in 10–40 % der Fälle halluzinieren, wenn keine externe Fundierung vorliegt.

Stellen Sie sich vor, Sie fragen ein LLM: Wie lauten die Bedingungen für den Lieferantenvertrag unseres Unternehmens für das 3. Quartal 2025? Das Modell hat Ihr internes Dokument nie gesehen. Statt zu sagen, dass es die Antwort nicht kennt, erstellt es möglicherweise eine plausibel klingende Zusammenfassung des Vertrags mit allgemeiner Rechtssprache. Wenn ein Mitarbeiter auf Grundlage dieser erfundenen Informationen handelt, können die Folgen schwerwiegend sein. Genau diese Art von Fehler sollte RAG verhindern.

Die grundlegende Idee hinter RAG ist einfach: Wenn Sie dem Modell die relevanten Informationen innerhalb des Prompts zur Verfügung stellen, muss es sich nicht auf gespeichertes Wissen verlassen. Das Modell wechselt vom Generieren aus dem Gedächtnis zum Lesen aus dem Kontext. Genauso arbeiten auch Menschen – wenn Sie genaue Details benötigen, schlagen Sie sie nach, statt sich auf Ihre Erinnerung zu verlassen. RAG setzt denselben Arbeitsablauf für LLMs praktisch um.

Ein verbreitetes Missverständnis ist, dass Fine-Tuning des Modells mit Ihren Dokumenten Halluzinationen behebt. Fine-Tuning aktualisiert die Gewichte des Modells, um Stil, Format und Befolgung von Aufgabenstellungen zu verbessern, fügt jedoch nicht zuverlässig faktisches Wissen hinzu. Studien zeigen, dass feinabgestimmte Modelle selbst bei den Trainingsdaten weiterhin halluzinieren. Damit Wissen zuverlässig abgerufen werden kann, muss es zum Inferenzzeitpunkt über das Kontextfenster bereitgestellt werden.

Da RAG aus einem aktuellen Dokumentenspeicher abruft, kann es ganz natürlich mit Wissen umgehen, das sich im Laufe der Zeit ändert. Wenn Ihr Richtliniendokument aktualisiert wird, indizieren Sie es neu, und jede anschließende Abfrage verwendet sofort die neue Version – ein erneutes Training des Modells ist nicht erforderlich. Dadurch ist RAG für Anwendungen wie interne Wissensdatenbanken, Kundensupportsysteme und Tools für Finanzrecherchen wesentlich praktischer als regelmäßiges Fine-Tuning.

Die meisten Unternehmensdaten dürfen aufgrund von Anforderungen an Datenschutz und Compliance nicht zum Training an OpenAI gesendet werden. RAG umgeht dieses Problem: Ihre vertraulichen Dokumente bleiben in Ihrer eigenen Vektordatenbank, und pro Abfrage werden nur die relevanten Abschnitte an das LLM gesendet. Sie können sogar ein lokales LLM wie Llama 3 ausführen, damit alle Daten vor Ort bleiben. RAG ist das wichtigste Muster für die Entwicklung von KI auf vertraulichen Unternehmensinhalten.

Wenn ein LLM aus dem Gedächtnis generiert, gibt es keine Quelle, die es zitieren kann. Wenn es aus abgerufenen Dokumenten generiert, kann es die genauen Quellen zitieren. Sie können das Modell anweisen, Dokumentnamen und Seitenzahlen in seine Antwort aufzunehmen, sodass Benutzer die Originalquelle öffnen und überprüfen können. Die Zuordnung von Quellen erhöht das Vertrauen in KI-generierte Antworten erheblich – ein entscheidender Faktor für Anwendungen im Rechtswesen, in der Medizin und im Finanzbereich.

RAG folgt zum Inferenzzeitpunkt einem zweistufigen Muster: Abrufen – die Benutzerfrage in ein Embedding umwandeln, im Vektorspeicher nach den relevantesten Dokumentabschnitten suchen und die Top-K-Ergebnisse sammeln. Generieren – einen Prompt erstellen, der die abgerufenen Abschnitte als Kontext enthält, und das LLM auffordern, die Frage ausschließlich auf Grundlage dieses Kontexts zu beantworten. Das LLM liest, fasst zusammen und antwortet.

RAG ist leistungsfähig, aber kein Allheilmittel. Es scheitert weiterhin, wenn die Antwort eine Zusammenführung aus Hunderten von Dokumenten erfordert (der Abruf liefert nur wenige Abschnitte), die Frage grundsätzlich mehrstufig ist und das Modell über Zwischenschritte hinweg schlussfolgern muss oder die abgerufenen Abschnitte irreführend oder widersprüchlich sind. Wenn Sie diese Grenzen verstehen, können Sie hybride Systeme entwickeln, die RAG mit Reasoning-Agenten kombinieren.

Für die Vermittlung von Domänenwissen an ein LLM stehen Ihnen drei Hauptoptionen zur Verfügung: Prompt Stuffing (alles in den Prompt aufnehmen – funktioniert nur bei sehr kleinen Korpora), Fine-Tuning (trainiert Stil und Format gut, ist aber für den zuverlässigen Abruf von Fakten ungeeignet) und RAG (ruft relevante Fakten zum Inferenzzeitpunkt dynamisch ab und lässt sich auf Millionen von Dokumenten skalieren). Für die meisten produktiven Anwendungsfälle, die aktuelles, privates oder umfangreiches Wissen erfordern, ist RAG die richtige Wahl.

Testen Sie Ihr Verständnis der Konzepte aus dem Bereich AI Engineering in dieser Lektion.

In dieser Lektion haben Sie gelernt: warum LLMs halluzinieren – aufgrund von Wissensgrenzen und der Unfähigkeit, „Ich weiß es nicht“ zu sagen –, warum Fine-Tuning Halluzinationen beim Abruf von Fakten nicht behebt, und wie RAG Antworten auf abgerufene Dokumente stützt und dadurch die Zuordnung von Quellen, aktuelles Wissen und die sichere Nutzung privater Daten ermöglicht. Als Nächstes untersuchen wir die vollständige RAG-Architektur einschließlich ihrer Phasen für Indizierung und Abruf.