Wirksame Beispiele entwerfen

Beim Few-Shot-Prompting sind Ihre Demonstrationen der Trainingsdatensatz, der lediglich zur Inferenzzeit bereitgestellt wird. Jede Eigenschaft, die Ihnen bei Fine-Tuning-Daten wichtig wäre, gilt auch hier: Repräsentativität, Abdeckung, Labelgenauigkeit, Vielfalt und Freiheit von Leakage.

Nachlässige Beispiele vermitteln nachlässiges Verhalten. Das Modell imitiert zuverlässig Relativierungen, übermäßige Ausführlichkeit, uneinheitliche Formatierung und subtile Fehler in der Begründung, die in Ihren Demonstrationen vorkommen.

Wählen Sie Demonstrationen, deren Eingabeverteilung dem Datenverkehr in der Produktion entspricht. Ein Demonstrationsset aus makellosen, kurzen und einfachen Fällen wird bei den unordentlichen, langen und mehrdeutigen Eingaben scheitern, die Ihre Benutzer tatsächlich senden.

Stichproben Sie echte Logs, gruppieren Sie sie in Cluster und wählen Sie je Cluster ein repräsentatives Beispiel aus. So decken Sie die Modi Ihrer Verteilung wesentlich besser ab, als wenn Sie beeindruckende, aber atypische Beispiele von Hand auswählen.

Nehmen Sie zusätzlich zu typischen Eingaben gezielt Randfälle auf, bei denen das Modell Fehler macht: Negationen, Eingaben mit mehreren Labels, Sarkasmus, Einheiten und Nullantworten. Eine einzige Demonstration, die den korrekten Umgang mit einer expliziten Ablehnung oder einem leeren Ergebnis zeigt, vermittelt ein Verhalten, das sich durch Anweisungen in Prosa nur selten zuverlässig festlegen lässt.

Führen Sie eine fortlaufend gepflegte Sammlung von Fehlerfällen aus der Produktion und nehmen Sie die lehrreichsten Fälle regelmäßig in den Prompt auf.

Jede Demonstration muss eine identische Formatierung verwenden: dieselben Trennzeichen, dieselbe Schlüsselreihenfolge, Groß-/Kleinschreibung, Leerraum und denselben Begründungsstil. Das Modell achtet auf Oberflächenregularitäten; jede Inkonsistenz wird zu Rauschen, das es unvorhersehbar reproduzieren kann.

Prüfen Sie Ihre Beispiele programmgesteuert mit einem Linter. Falls die Ausgaben JSON sind, validieren Sie jede Ausgabe anhand des Schemas, bevor sie überhaupt in einen Prompt gelangt.

Redundante Demonstrationen verschwenden Kontext und verstärken gemeinsame Verzerrungen. Maximieren Sie den Informationsgehalt pro Token, indem Sie eine vielfältige Teilmenge auswählen, zum Beispiel mithilfe von Maximal Marginal Relevance, das Relevanz gegen die Unähnlichkeit zu bereits ausgewählten Beispielen abwägt.

Die Vielfalt sollte die für Ihre Aufgabe wichtigen Dimensionen abdecken und nicht nur die lexikalische Oberflächenform.

Bei Reasoning-Aufgaben sollte die Ausgabe der Demonstration genau den gewünschten Denkverlauf vorbilden: prägnant, korrekt und jedes Mal in derselben Struktur. Wenn eine Demonstration in drei Schritten begründet und eine andere in sieben, lernt das Modell keine stabile Strategie.

Bevorzugen Sie knappe, überprüfbare Begründungen gegenüber ausführlichen Erläuterungen. Lange Begründungen in Demonstrationen erhöhen die Kosten und können dem Modell weitschweifiges Verhalten beibringen.

Demonstrationen können Scheinsignale enthalten. Wenn jedes positive Beispiel zufällig lang und jedes negative kurz ist, lernt das Modell die Länge statt der Stimmung. Prüfen Sie Ihre Demonstrationen auf unbeabsichtigte Korrelationen zwischen oberflächlichen Merkmalen und Labels.

Vermeiden Sie außerdem, die Antwort durch die Formulierung der Eingabe zu verraten, beispielsweise durch eine Demonstration, deren Eingabe das Ziellabel bereits als Wort enthält.

Mischen Sie verschiedene Schwierigkeitsgrade, damit das Modell sowohl einfache als auch schwierige Zuordnungen sieht, behalten Sie jedoch die Länge der Beispiele im Blick. Sehr lange Demonstrationen verdrängen die aktuelle Abfrage und können Lost-in-the-Middle-Effekte auslösen, bei denen der mittlere Kontext weniger beachtet wird.

Gruppieren Sie Demonstrationen nach Länge und streben Sie ein ausgewogenes, kompaktes Set an, das dennoch Ihre gesamte Bandbreite an Schwierigkeitsgraden abdeckt.

Um die Grenzen festzulegen, nehmen Sie Demonstrationen dessen auf, was das Modell nicht tun soll, jeweils zusammen mit der korrekten Antwort. Zeigen Sie eine Anfrage, die abgelehnt werden muss, oder eine Eingabe außerhalb des Aufgabenbereichs, die eine angemessene Nullantwort hervorruft.

Diese negativen Demonstrationen sind für Sicherheit, Kontrolle des Aufgabenbereichs und die strukturierte Nullbehandlung oft die wirkungsvollsten Beispiele.

Demonstrationssets sind Artefakte, die versioniert und mit Regressionstests geprüft werden sollten. Wenn Sie ein Beispiel austauschen, führen Sie Ihr Evaluations-Harness erneut aus. Ein einziges fehlerhaftes Beispiel kann die Genauigkeit um mehrere Prozentpunkte senken oder das Ausgabeformat verändern.

Versehen Sie jedes Prompt-Deployment mit dem Hash des Demonstrationssets, damit Sie Qualitätsänderungen zuordnen und präzise zurückrollen können.

Zusammengefasst: Sammeln Sie echte Eingaben, versehen Sie sie sorgfältig mit Labels, gruppieren Sie sie zur Abdeckung in Cluster, wenden Sie MMR für Vielfalt an, gleichen Sie die Längen aus, prüfen Sie das Format mit einem Linter, suchen Sie nach Shortcuts und validieren Sie das Ergebnis schließlich auf einem zurückgehaltenen Datensatz, bevor Sie es freigeben.

Diese Pipeline macht aus der Gestaltung von Beispielen einen reproduzierbaren Engineering-Prozess statt einer Frage der Intuition.

Die wichtigsten Erkenntnisse:

• Demonstrationen sind Trainingsdaten zur Inferenzzeit. Kuratieren Sie sie mit derselben Sorgfalt wie einen Datensatz.
• Passen Sie die Eingabeverteilung in der Produktion durch Clustering an und decken Sie gezielt schwierige Randfälle ab.
• Setzen Sie eine strikt konsistente Formatierung durch und prüfen Sie Ausgaben mit einem Linter gegen ein Schema.
• Maximieren Sie die Vielfalt pro Token mit MMR und gleichen Sie Schwierigkeitsgrad und Länge aus.
• Prüfen Sie auf Scheinsignale und Leakage, nehmen Sie negative Demonstrationen und Ablehnungsbeispiele auf und versionieren Sie jedes Demonstrationsset.