Dynamische Few-Shot-Auswahl

Beim statischen Few-Shot werden für jede Query dieselben Beispiele verwendet. Dynamisches Few-Shot ruft für jede Query die relevantesten Demonstrationen aus einer Sammlung ab und konditioniert das Modell auf Beispiele, die der aktuellen Eingabe ähneln.

Das ist Retrieval-Augmented In-Context Learning: Die Relevanz der Demonstrationen steigt. Das ist einer der stärksten Hebel für die Qualität von ICL, insbesondere bei heterogenem Datenverkehr.

Berechnen Sie vorab Embeddings für jede mögliche Demonstration und speichern Sie sie in einem Approximate-Nearest-Neighbor-Index (FAISS, HNSW oder einer Vektordatenbank). Betten Sie die Eingabe zur Anfragezeit einmal ein und rufen Sie die besten Treffer ab.

Wählen Sie ein Embedding-Modell, dessen semantische Ausrichtung zu Ihrer Aufgabe passt. Ein allgemeines Embedder-Modell gruppiert möglicherweise eher nach oberflächlichen Merkmalen als nach der Dimension, die das korrekte Label vorhersagt.

Die kanonische Methode (Liu et al., 2022) ruft die k nächsten Nachbarn der Query aus der gelabelten Sammlung ab und verwendet sie als Demonstrationen. Die Auswahl auf Retrieval-Basis ist der zufälligen Auswahl durchgehend überlegen, weil relevante Demos die Aufgabe besser einordnen und den passenden Labelraum bereitstellen.

Die abgerufenen Labels dienen außerdem als weicher Prior eines kNN-Klassifikators und lenken das Modell in Richtung der Antworten der Nachbarn.

Eine reine Top-k-Auswahl kann nahezu identische Beispiele liefern und dadurch Kontext verschwenden. Wenden Sie MMR oder Clustering auf die abgerufenen Kandidaten an, um die Relevanz zu erhalten und gleichzeitig sicherzustellen, dass die ausgewählten Demos unterschiedliche Aspekte der Query abdecken.

Das ist besonders bei kompositionellen Eingaben wichtig, bei denen für verschiedene Teilaspekte jeweils eine repräsentative Demonstration benötigt wird.

Die dynamische Auswahl fügt jeder Anfrage einen Embedding-Aufruf und eine ANN-Suche hinzu. Planen Sie dies ein: Cachen Sie Query-Embeddings für wiederholte Eingaben, bündeln Sie Retrieval-Anfragen und halten Sie den Index im Arbeitsspeicher.

Bei Systemen mit hohem QPS muss der Retrieval-Schritt weniger als eine Millisekunde dauern. Andernfalls wird der Relevanzgewinn durch die zusätzliche Tail-Latenz aufgezehrt.

Dynamische Demos verhindern das Caching des Prompt-Präfixes, weil sich der Beispielblock für jede Query ändert. Begrenzen Sie die Auswirkungen, indem Sie eine stabil gecachte Präambel (Anweisungen plus einige universelle Beispiele) beibehalten und nur die abgerufenen, Query-spezifischen Demos dahinter anhängen.

So gewinnen Sie den größten Teil der Caching-Einsparungen zurück und erhalten zugleich die Query-spezifische Relevanz des hinteren Teils.

Wenn sich die Query selbst in der Sammlung befindet (bei Evaluationen häufig), kann das Retrieval genau die richtige Antwort liefern und die Metriken künstlich erhöhen. Schließen Sie die Query aus und entfernen Sie bei der Evaluation auch nahezu identische Nachbarn oberhalb eines Ähnlichkeitsschwellenwerts.

Deduplizieren Sie die Sammlung in der Produktion und verhindern Sie, dass die eigene frühere Eingabe eines Benutzers als Demonstration zurückgegeben wird.

Zu Beginn ist die Sammlung klein, und das Retrieval liefert möglicherweise nur schwache Treffer. Starten Sie mit einem kuratierten statischen Satz und vergrößern Sie die Sammlung anschließend anhand verifizierter Produktionsspuren. Berechnen Sie Embeddings neu und erstellen Sie den Index regelmäßig neu.

Verfolgen Sie die Nutzung und das Ergebnis jeder Demonstration, damit Sie Beispiele mit geringem Wert oder veraltete Beispiele entfernen und den Index schlank halten können.

Die Relevanz anhand der nächsten Nachbarn ist eine starke Standardeinstellung, aber nicht immer optimal. Fortgeschrittene Selektoren gewichten Informationsgehalt (löst die Demonstration die Mehrdeutigkeit der Query?), Diversität und Labelabdeckung. Einige Methoden lernen eine Auswahlstrategie, die die nachgelagerte Genauigkeit statt der reinen Ähnlichkeit maximiert.

Betrachten Sie die Auswahl als Suche nach der Demonstrationsmenge, die die Unsicherheit des Modells bezüglich dieser Query am stärksten reduziert.

Vergleichen Sie dynamische mit statischen und zufälligen Baselines anhand zurückgehaltener Daten, bei denen Leakage kontrolliert wurde. Geben Sie die Genauigkeit, die Verteilung der Retrieval-Ähnlichkeiten, die End-to-End-Latenz und die Cache-Trefferrate an.

Ein dynamisches System, das bei der Genauigkeit gewinnt, aber die Cache-Wiederverwendung stark verschlechtert, kann unter dem Strich teurer sein. Bewerten Sie das vollständige Ziel und nicht nur die Qualität.

Durchgängiger Aufbau: eine verifizierte Demonstrationssammlung, ein Embedding-Modell, ein ANN-Index im Arbeitsspeicher, ein Selektor mit Schutzmaßnahmen gegen Leakage sowie Diversitäts- und Ähnlichkeitsordnung, eine stabil gecachte Präambel und eine Feedbackschleife, die die Sammlung erweitert und bereinigt.

Diese Architektur macht aus Few-Shot-Prompting ein Retrieval-System mit der dafür erforderlichen betrieblichen Disziplin.

Analysieren Sie ein irreführend starkes Evaluationsergebnis.

Wichtige Erkenntnisse:

• Dynamisches Few-Shot ruft für jede Query passende Demonstrationen ab und übertrifft zufällige bzw. statische Verfahren durch höhere Relevanz.
• Betten Sie die Sammlung in einen ANN-Index ein. kNN-Prompting ist die starke Standardeinstellung und wird nach aufsteigender Ähnlichkeit geordnet.
• Fügen Sie Diversität hinzu (MMR) und ziehen Sie Selektoren auf Basis von Informationsgehalt bzw. Unsicherheitsreduktion in Betracht.
• Schützen Sie sich vor Retrieval-Leakage, steuern Sie die Latenz und verwenden Sie eine gecachte statische Präambel mit einem dynamischen hinteren Teil.
• Erweitern und bereinigen Sie die Sammlung anhand verifizierter Spuren und bewerten Sie Genauigkeit, Latenz und Cache-Trefferrate gemeinsam.