RAG vs. Fine-Tuning: Wann welcher Ansatz geeignet ist

Wenn ein LLM in Ihrem spezifischen Fachgebiet gut funktionieren soll, haben Sie zwei Hauptstrategien: Retrieval-Augmented Generation (RAG) fügt zur Inferenzzeit dynamisch relevantes Wissen ein, während Fine-Tuning die Gewichte des Modells aktualisiert, um Wissen, Stil oder Formatpräferenzen fest zu verankern. Die richtige Entscheidung zwischen beiden kann den Unterschied zwischen einem zuverlässigen System und monatelanger, teurer GPU-Rechenzeit ausmachen, die für den falschen Ansatz verschwendet wird.

Beim Fine-Tuning werden die Gewichte des Modells aktualisiert, indem es mit Beispielen für Eingaben und Ausgaben trainiert wird. Besonders gut eignet es sich zur Veränderung des Verhaltens: Sie können einem Modell beibringen, immer ein bestimmtes JSON-Format zu verwenden, eine Markenstimme anzunehmen, domänenspezifischen Denkmustern zu folgen oder eine Aufgabenart auszuführen, für die es nicht optimiert wurde. Fine-Tuning aktualisiert faktisches Wissen nicht zuverlässig – Modelle können sich an Trainingsbeispiele überanpassen, ohne die zugrunde liegenden Fakten auf neue Anfragen zu übertragen.

RAG verändert die Modellgewichte nicht. Stattdessen ändert es die Informationen, die dem Modell zur Inferenzzeit zur Verfügung stehen, indem relevante Dokumente im Kontextfenster platziert werden. RAG eignet sich besonders für Wissen: zum Beantworten von Fragen zu privaten Dokumenten, zum Aktualisieren von Antworten bei häufig geänderten Daten und zur Verankerung von Antworten in überprüfbaren Quellen. Was RAG nicht ohne Weiteres verändert, sind der inhärente Stil, Formatpräferenzen oder der Denkansatz des Modells.

Für jeden Anwendungsfall, bei dem sich Informationen im Laufe der Zeit ändern, ist RAG eindeutig überlegen. Einen Vektorspeicher nach Änderungen an Dokumenten neu zu indizieren dauert Minuten und benötigt keine GPU-Ressourcen. Das Fine-Tuning eines Modells mit neuen Daten erfordert erneutes Training, das teuer und langsam ist; selbst dann ruft das Modell die neuen Fakten möglicherweise nicht zuverlässig ab. Produktkataloge, gesetzliche Vorschriften, medizinische Leitlinien und Unternehmensrichtlinien sind mit RAG besser abgedeckt als mit Fine-Tuning.

Wenn das Modell stets in einem ganz bestimmten Stil, Ton oder strukturierten Format antworten soll, das sich allein durch Prompt Engineering nicht zuverlässig erzwingen lässt, ist Fine-Tuning das richtige Werkzeug. Beispiele: ein Kundendienst-Bot, der immer das spezifische Vokabular Ihrer Marke verwenden muss; ein Codegenerator, der Code passend zum internen Styleguide Ihres Unternehmens erzeugen muss; oder ein Klassifizierungsmodell, das über Tausende von Sonderfällen hinweg zuverlässig eine unveränderliche Taxonomie ausgeben muss.

Fine-Tuning verursacht hohe anfängliche Kosten (Rechenaufwand für das Training, Zeit für die Vorbereitung des Datensatzes und Evaluierung), senkt aber die Kosten pro Anfrage, wenn Sie dadurch ein kleineres Modell verwenden können. RAG hat geringe anfängliche Kosten (die Indizierung einer Vektordatenbank ist günstig), verursacht aber zusätzlichen Aufwand pro Anfrage: einen Aufruf der Embedding-API sowie etwas längere Prompts mit eingefügtem Kontext. Bei den meisten Anwendungen mit weniger als 10 Millionen täglichen Anfragen ist der zusätzliche Aufwand pro Anfrage bei RAG im Vergleich zu den Entwicklungskosten des Fine-Tunings vernachlässigbar.

Fine-getunte Modelle können bei der Inferenz schneller sein, da kürzere Prompts erforderlich sind – das Wissen steckt in den Gewichten und nicht im Kontext. RAG fügt zwei Roundtrips hinzu: einen Aufruf der Embedding-API und eine Suchanfrage an die Vektordatenbank. Der gesamte zusätzliche Aufwand beträgt typischerweise 50–200 ms. Bei latenzsensitiven Anwendungen wie Echtzeit-Sprachassistenten ist dieser Aufwand relevant. Bei den meisten Chat- und Frage-Antwort-Anwendungen ist die zusätzliche Latenz für Benutzer nicht wahrnehmbar.

RAG bietet eine klare Prüfspur: Für jede Antwort wissen Sie genau, welche Dokumente abgerufen wurden, und können sie dem Benutzer anzeigen. Fine-getunte Modelle antworten aus undurchsichtigen Gewichten – es gibt keine Aufzeichnung darüber, welches Trainingsbeispiel eine bestimmte Ausgabe hervorgebracht hat. In regulierten Branchen wie Finanzwesen, Gesundheitswesen und Rechtswesen, in denen Antworten erklärbar und überprüfbar sein müssen, ist die Transparenz von RAG ein wesentlicher Vorteil gegenüber Fine-Tuning.

RAG und Fine-Tuning schließen einander nicht aus. Ein gängiges Muster in Produktionssystemen ist: Sie führen ein Fine-Tuning durch, damit das Modell ein konsistentes Ausgabeformat und domänenspezifisches Vokabular verwendet, und ergänzen anschließend RAG, um aktuelles Faktenwissen bereitzustellen. Das fine-getunte Modell übernimmt zuverlässig Stil und Struktur, während RAG das Wissen liefert. Bei anspruchsvollen Unternehmensanwendungen übertrifft diese Kombination beide Ansätze allein.

Folgen Sie diesem Entscheidungsweg: Geht es um Konsistenz von Stil oder Format? → Ziehen Sie Fine-Tuning in Betracht. Sind die Informationen privat oder werden sie häufig aktualisiert? → Verwenden Sie RAG. Benötigen Sie Quellenangaben? → Verwenden Sie RAG. Ist der Datensatz zu klein für Fine-Tuning (unter 500 Beispiele)? → Verwenden Sie RAG mit Few-Shot-Prompting. Muss das Modell eine Aufgabe bewältigen, die es derzeit ablehnt? → Führen Sie Fine-Tuning mit RLHF oder DPO durch. Beginnen Sie im Zweifelsfall mit RAG – es lässt sich schneller entwickeln, leichter aktualisieren und transparenter gestalten.

Nutzen Sie diese Szenarien, um ein Gefühl für die Unterschiede zu entwickeln: Interner HR-Chatbot (Richtlinien ändern sich vierteljährlich, Quellenangaben sind erforderlich) → RAG. Codevervollständigung für ein proprietäres Framework (konsistenter Codestil, Framework-Muster) → Fine-Tuning. Frage-Antwort-System für juristische Dokumente (private Dokumente, präzise Quellenangaben erforderlich) → RAG. Kundensupport-Bot (bestimmter Ton, Produkt-FAQ wird wöchentlich aktualisiert) → Fine-Tuning für den Ton + RAG für das Wissen. Zusammenfasser medizinischer Fachliteratur (aktuelle Forschung, Zuordnung zu Quellen entscheidend) → RAG.

In dieser Lektion haben Sie gelernt: Fine-Tuning verändert Verhalten und Stil des Modells, aber nicht zuverlässig das faktische Wissen; RAG stellt zur Inferenzzeit dynamisch Wissen bereit, mit vollständiger Transparenz und Quellenangaben; außerdem haben Sie das Entscheidungsmodell kennengelernt: Verwenden Sie RAG für häufig aktualisiertes privates Wissen, bei dem eine Zuordnung zu Quellen erforderlich ist, Fine-Tuning für konsistenten Stil und konsistente Formate und beide Ansätze gemeinsam für anspruchsvolle Unternehmensanwendungen. Als Nächstes beginnen wir damit, eine vollständige RAG-Pipeline von Grund auf zu entwickeln.