Zero-, One- und Few-Shot

Shots bezeichnen die Anzahl beschrifteter Demonstrationen, die im Prompt vor der eigentlichen Anfrage platziert werden. Zero-Shot stützt sich vollständig auf die vortrainierten Priors des Modells; Few-Shot konditioniert das Modell während der Inferenz auf eine kleine aufgabenspezifische Verteilung, ohne die Gewichte zu aktualisieren.

Dies wird als In-Context Learning (ICL) bezeichnet: Der Transformer behandelt die Beispiele als Teil der Sequenz und führt implizit eine Art meta-gelernte Regression darüber aus. Die Wahl von k (Anzahl der Shots) ist ein Hyperparameter, den Sie empirisch abstimmen, und keine feststehende Best Practice.

Bevorzugen Sie Zero-Shot, wenn die Aufgabe im Pretraining gut abgedeckt ist (Zusammenfassung, Übersetzung, gängige Klassifikation) und Beispiele das Ausgabeformat verzerren könnten. Bei instruction-tuned Modellen ist eine präzise Anweisung zusammen mit einem Ausgabeschema oft besser als Beispiele, die den Stil subtil vorgeben.

Zero-Shot minimiert außerdem Tokenkosten und Latenz und vermeidet den Mehrheitslabel-Bias, bei dem das Modell diejenige Klasse überproportional häufig vorhersagt, die in Ihren Demonstrationen dominiert.

One-Shot spielt seine Stärken aus, wenn die Aufgabe konzeptionell klar ist, aber das Ausgabeformat ungewöhnlich oder strikt vorgegeben ist. Eine einzige Demonstration vermittelt die genaue Struktur (JSON-Schlüssel, Trennzeichen, Groß-/Kleinschreibung) wesentlich zuverlässiger als eine Beschreibung in Prosa.

Verwenden Sie One-Shot, wenn Sie die Struktur einschränken möchten, ohne viele Tokens zu verbrauchen oder die durch mehrere Beispiele eingeführte Verzerrung der Labelverteilung zu riskieren.

Die Leistung in Abhängigkeit von k steigt nur selten monoton. Typischerweise nimmt sie zunächst zu, erreicht ein Plateau und sinkt dann wieder, wenn Beispiele den Kontext überfüllen, die Aufmerksamkeit verwässern und die aktuelle Abfrage weiter aus dem Recency-Fokus des Modells drängen.

Testen Sie k empirisch mit {1, 2, 4, 8, 16} auf einem zurückgehaltenen Datensatz. Das optimale k hängt von der Aufgabenkomplexität, der Länge der Beispiele und der effektiven Kontextnutzung des Modells ab, die meist deutlich unterhalb des beworbenen Kontextfensters liegt.

Die Forschung beschreibt ICL als implizite Bayes'sche Inferenz des Modells: Demonstrationen helfen dabei, das latente Aufgabenkonzept zu identifizieren, das das Modell bereits während des Pretrainings gelernt hat. Die Beispiele dienen als Evidenz, die den Posterior über mögliche Aufgaben eingrenzt, und nicht als neues Wissen.

Das erklärt einen kontraintuitiven Befund: Selbst falsche Labels in Demonstrationen können einen großen Teil der Genauigkeit erhalten, weil das dominante Signal das Format und der Labelraum sind und nicht die Zuordnung von Eingaben zu Labels.

Jeder Shot verbraucht Kontext und Geld. Bei langen Demonstrationen können vier Beispiele die Abfrage um ein Vielfaches übertreffen. Berechnen Sie eine Kennzahl für die Kosten pro Genauigkeitspunkt: Wenn k=8 gegenüber k=4 einen Zugewinn von 0,5 % bei doppelter Tokenanzahl bringt, ist k=4 in der Produktion die bessere Wahl.

Bevorzugen Sie bei Pipelines mit hohem Durchsatz Prompt-Caching für den statischen Demonstrationsblock, damit wiederholte Demonstrationen nur einmal abgerechnet und verarbeitet werden.

Few-Shot-Prompts enthalten versteckte Verzerrungen. Der Mehrheitslabel-Bias führt dazu, dass das Modell die häufigste Klasse in den Demonstrationen bevorzugt. Der Recency-Bias gewichtet die letzte Demonstration überproportional. Der Common-Token-Bias bevorzugt Tokens, die häufig vorkommen.

Kalibrierungsverfahren wie die kontextuelle Kalibrierung schätzen den Prior des Modells für eine inhaltsfreie Eingabe (zum Beispiel den Token N/A) und dividieren ihn heraus, wodurch Few-Shot-Klassifikatoren deutlich stabiler werden.

Um dem Mehrheitslabel-Bias entgegenzuwirken, gleichen Sie die Klassen in den Demonstrationen aus und variieren Sie deren Reihenfolge. Verwenden Sie bei einer binären Klassifikation mit k=4 zwei positive und zwei negative Beispiele in gemischter Reihenfolge statt eines Verhältnisses von 3:1.

Gleichen Sie bei Generierungsaufgaben die relevanten Dimensionen aus (Länge, Ton, Schwierigkeitsgrad), damit das Modell nicht auf einen einzigen Modus beschränkt wird, den es am häufigsten gesehen hat.

Few-Shot ist das richtige Werkzeug, wenn sich die Aufgabe häufig ändert, Daten knapp sind oder Sie kein abgestimmtes Modell hosten können. Fine-Tuning ist überlegen, wenn Sie Tausende von Beispielen haben, die geringstmögliche Latenz pro Aufruf benötigen oder das Format fest im Modell verankern möchten, damit Prompts kurz bleiben.

Ein gängiger Weg für die Produktion: Prototypisieren Sie mit Few-Shot, sammeln Sie die erfolgreichen Traces und destillieren Sie sie anschließend in ein Fine-Tune, um die Beispiel-Tokens vollständig zu entfernen.

Bei mehrstufigem Reasoning können einfache Few-Shot-Antwortpaare schaden: Das Modell lernt, direkt zu einer Antwort zu springen, die es nicht begründen kann. Kombinieren Sie Few-Shot mit Chain-of-Thought-Demonstrationen, die die Begründungskette und nicht nur das finale Label zeigen.

Die Anzahl der Shots hängt mit der Tiefe des Reasonings zusammen; häufig schlagen k=2 hochwertige CoT-Beispiele k=8 Beispiele, die nur Antworten enthalten, bei Benchmarks für Arithmetik und Logik.

Behandeln Sie die Auswahl der Shots als empirische Suche, die durch ein Harness unterstützt wird. Halten Sie einen Validierungsdatensatz zurück, kontrollieren Sie die Reihenfolge der Beispiele mit mehreren Seeds und geben Sie Mittelwert und Varianz an, da die Few-Shot-Genauigkeit allein aufgrund der Reihenfolge um mehrere Prozentpunkte schwanken kann.

Protokollieren Sie die Tokenanzahl und Latenz für jedes k, damit die endgültige Entscheidung das vollständige Ziel optimiert und nicht nur die Genauigkeit.

Testen Sie Ihr Verständnis der Shot-Auswahl und des ICL-Bias.

Die wichtigsten Erkenntnisse:

• k ist ein abstimmbarer Hyperparameter. Testen Sie verschiedene Werte und beobachten Sie die Kurve aus Anstieg, Plateau und Abfall.
• Zero-Shot eignet sich für bekannte Aufgaben, One-Shot verankert strikte Formate und Few-Shot konditioniert auf eine Aufgabenverteilung.
• ICL funktioniert, indem eine vortrainierte Aufgabe identifiziert wird. Daher sind Format und Labelraum wichtiger als die Richtigkeit der Labels.
• Wirken Sie Mehrheitslabel-, Recency- und Common-Token-Bias mit Ausbalancieren, Mischen und kontextueller Kalibrierung entgegen.
• Optimieren Sie die Genauigkeit pro Dollar, kombinieren Sie Reasoning-Aufgaben mit CoT-Beispielen und destillieren Sie stabile Few-Shot-Prompts in Fine-Tunes.