Abfragen, abrufen und generieren

Die Abfragepipeline ist die Online-Hälfte von RAG – der Code, der in Echtzeit ausgeführt wird, wenn eine Benutzerin oder ein Benutzer eine Frage stellt. Sie verbindet alle während der Indexierung erstellten Komponenten: das Embedding-Modell, den Vektorspeicher, die Prompt-Vorlage und das LLM. Eine gut implementierte Abfragepipeline wird bei den meisten Workloads in unter 500 ms abgeschlossen und erzeugt fundierte Antworten mit Quellenangaben. In dieser Lektion erstellen wir jeden Schritt von Grund auf.

Der erste Schritt besteht darin, die natürlichsprachliche Frage der Benutzerin oder des Benutzers mithilfe desselben Modells wie bei der Indexierung in ein Vektor-Embedding umzuwandeln. Dieses Embedding kodiert die semantische Bedeutung der Frage und wird im Vektorspeicher mit den Embeddings der Dokument-Chunks verglichen. Halten Sie diesen Schritt schnell: Verwenden Sie ein leichtgewichtiges Modell wie text-embedding-3-small und cachen Sie Embeddings für wiederholt identische Abfragen.

Senden Sie den Abfragevektor an den Vektorspeicher, um die K semantisch ähnlichsten Chunks zu finden. Die zurückgegebenen Treffer werden nach ihrem Kosinusähnlichkeitswert sortiert (typischerweise 0,0 bis 1,0; höher ist besser). Der ideale K-Wert schafft ein Gleichgewicht zwischen reichhaltigem Kontext und den Kosten für das Kontextfenster: K=5 ist ein häufiger Ausgangspunkt. Sie können hier auch Metadatenfilter anwenden, um den Abruf auf eine bestimmte Abteilung, einen Dokumenttyp oder einen Datumsbereich zu beschränken.

Nicht alle abgerufenen Chunks sind tatsächlich relevant – einige können niedrige Ähnlichkeitswerte aufweisen und trotzdem unter den Top-K landen, weil die Abfrage außerhalb der Abdeckung des Index liegt. Wenden Sie einen Mindestschwellenwert für den Score an, um Treffer mit geringer Konfidenz herauszufiltern. Wenn alle abgerufenen Chunks unter diesem Schwellenwert liegen, geben Sie eine Antwort wie „Keine Informationen gefunden“ zurück, anstatt irrelevanten Kontext an das LLM zu senden. Dieses würde sonst eine schlechtere Antwort erzeugen, als wenn es die Anfrage höflich ablehnt.

Fügen Sie die abgerufenen Chunks zu einem strukturierten Kontextblock zusammen, den das LLM lesen wird. Kennzeichnen Sie jeden Chunk mit seiner Quelle, damit das Modell sie korrekt zitieren kann. Fügen Sie zur besseren Übersicht Trennzeichen zwischen den Chunks ein. Halten Sie den gesamten Kontext innerhalb Ihres Token-Budgets: Zählen Sie die Token mit tiktoken und kürzen oder entfernen Sie Chunks mit niedrigerem Score, wenn Sie das Limit überschreiten. Der Kontextblock wird im Prompt zwischen der Systemanweisung und der Benutzerfrage eingefügt.

Führen Sie den Kontextblock, die Systemanweisung und die Benutzerfrage im finalen Prompt zusammen. Die Systemnachricht weist das Modell an, nur den bereitgestellten Kontext zu verwenden und Quellen anzugeben. Die Benutzernachricht enthält den formatierten Kontext, gefolgt von der Frage. Diese klare Trennung verhindert, dass das Modell Kontextinhalt mit der Frage vermischt, und macht die Grenze zwischen abgerufenen Daten und Benutzereingabe eindeutig.

Senden Sie den zusammengestellten Prompt mithilfe der Chat Completions API an das LLM. Verwenden Sie für faktenbasierte Fragen und Antworten eine niedrige Temperatur (0,0 bis 0,3), um konsistente, fundierte Antworten zu erhalten. Höhere Temperaturen erzeugen kreativere Antworten, erhöhen jedoch das Risiko, dass das Modell Informationen hinzufügt, die nicht im Kontext enthalten sind. Verarbeiten Sie die Antwort und geben Sie sowohl den Antworttext als auch die abgerufenen Quellen zurück, damit Ihre Anwendung der Benutzerin oder dem Benutzer Quellenangaben anzeigen kann.

Die vollständige Abfragepipeline führt diese Schritte nacheinander aus. Jeder Schritt ist eine reine Funktion, die Sie unabhängig testen können, und die Daten fließen sauber von einem Schritt zum nächsten. Wenn Sie bei jedem Schritt Protokollierung hinzufügen, wird die Pipeline beobachtbar: Sie sehen genau, welche Chunks abgerufen wurden, welchen Score sie hatten, wie der Kontext zusammengestellt wurde und wie viele Token verwendet wurden. Diese Transparenz ist für das Debugging und die Verbesserung der Suchqualität unerlässlich.

Die Abfragepipeline enthält zwei I/O-gebundene Schritte: den Embedding-Aufruf und den LLM-Aufruf. Führen Sie sie ohne unnötige Wartezeiten aus: Der Embedding-Aufruf ist schnell (<100 ms), der LLM-Aufruf langsam (500 ms–3 s). Um die wahrgenommene Latenz zu verringern, streamen Sie die LLM-Antwort, damit Token während ihrer Erzeugung erscheinen, anstatt auf die vollständige Antwort zu warten. Cachen Sie das Embedding wiederholt identischer Abfragen, um redundante API-Aufrufe zu vermeiden.

RAG-Pipelines im Produktivbetrieb benötigen strukturierte Protokollierung, damit Sie diagnostizieren können, wann der Abruf fehlschlägt oder das LLM eine schlechte Antwort liefert. Protokollieren Sie für jede Anfrage die Abfrage, die IDs und Scores der abgerufenen Chunks, die Anzahl der Kontext-Token, die Antwort und die Latenz. Speichern Sie diese Protokolle in einer Datenbank oder einer Observability-Plattform. Wenn Benutzerinnen oder Benutzer schlechte Antworten melden, können Sie die exakte Abfrage erneut ausführen und prüfen, welche Chunks abgerufen wurden und warum sie nicht ausreichten.

Wenn Ihre Anwendung viele wiederholte oder nahezu identische Abfragen erhält – etwa bei FAQ-Bots, bei denen häufig dieselben Fragen gestellt werden –, ist das Caching von Abfrage-Embeddings eine einfache Optimierung mit großer Wirkung. Hashen Sie die Abfragezeichenfolge, prüfen Sie den Redis-Cache auf das zugehörige Embedding und rufen Sie die Embedding API nur bei einem Cache-Miss auf. Cache-Trefferraten von 30–60 % sind bei FAQ- und Support-Chatbots im Produktivbetrieb üblich. Dadurch lassen sich erhebliche API-Kosten vermeiden und 50–100 ms Latenz pro gecachter Abfrage einsparen.

Testen Sie Ihr Verständnis der Konzepte aus dem Bereich AI Engineering, die in dieser Lektion behandelt wurden.

In dieser Lektion haben Sie Folgendes gelernt: die sechsstufige Abfragepipeline (Abfrage embedden, Chunks abrufen, nach Score filtern, Kontext formatieren, Prompt erstellen, Antwort generieren), das Filtern anhand eines Score-Schwellenwerts für Abfragen außerhalb der Indexabdeckung sowie Verbesserungen für den Produktivbetrieb, darunter gestreamte Antworten, strukturierte Protokollierung und Latenzoptimierung. Als Nächstes lernen wir, wie Sie überprüfen, ob Ihr vollständiges RAG-System tatsächlich korrekt funktioniert.