Zero-Shot- und Few-Shot-Prompting

Zero-Shot Prompting bedeutet, das Modell aufzufordern, eine Aufgabe auszuführen, ohne ihm Beispiele für deren Bearbeitung zu geben. Sie beschreiben lediglich die Aufgabe und überlassen es dem Modell, sein vortrainiertes Wissen anzuwenden. Das funktioniert gut bei Aufgaben, die das Modell während des Trainings häufig gesehen hat, etwa Übersetzungen, Zusammenfassungen oder einfache Klassifizierungen.

Wenn Sie das Modell beispielsweise auffordern, Diese Bewertung als Positiv oder Negativ zu klassifizieren, handelt es sich um einen Zero-Shot-Prompt. Das Modell hat während des Vortrainings Tausende Beispiele für die Klassifizierung von Stimmungen verarbeitet und kann die Aufgabe daher ausführen, ohne dass im Prompt selbst Beispiele gezeigt werden.

Zero-Shot-Prompts sind knapp und stützen sich auf das im Modell integrierte Wissen. Sie funktionieren am besten, wenn die Aufgabe geläufig und eindeutig ist. Beachten Sie, dass der folgende Prompt die Aufgabe klar definiert, ohne Beispiele für korrekte Ausgaben zu zeigen.

Zero-Shot-Prompting kann scheitern, wenn das Aufgabenformat ungewöhnlich ist, das Modell einem unüblichen Ausgabeschema folgen muss oder Sie eine konsistente Formatierung benötigen, die das Modell bei jedem Durchlauf anders interpretieren könnte. Das Modell aufzufordern, Daten in eine sehr spezifische JSON-Struktur mit benutzerdefinierten Feldnamen zu extrahieren, ist als Zero-Shot-Prompt riskant, da das Modell Ihre genaue Absicht erraten muss.

Zero-Shot stößt außerdem bei domänenspezifischem Fachjargon oder speziellen Klassifizierungskategorien an seine Grenzen, mit denen das Modell während des Pre-Trainings möglicherweise nicht häufig in Berührung gekommen ist. In diesen Fällen verbessert die Bereitstellung von Beispielen die Genauigkeit deutlich.

Few-Shot-Prompting bedeutet, dem Modell vor Ihrer eigentlichen Anfrage 2–8 Beispiele für die Aufgabe (Eingabe und gewünschte Ausgabe) bereitzustellen. Die Beispiele vermitteln dem Modell das genaue Format und Klassifizierungsschema, das Sie wünschen, ohne dass Fine-Tuning oder Training erforderlich ist.

Dies ist eine der leistungsfähigsten und am wenigsten genutzten Techniken im Prompt Engineering. Das Modell verwendet die Beispiele, um das Muster abzuleiten, und wendet es auf die neue Eingabe an. Untersuchungen aus dem GPT-3-Paper zeigten, dass die Leistung bei vielen Aufgaben mit der Anzahl der Beispiele deutlich zunahm – bis etwa 8 Beispiele erreicht waren. Danach flachen die Zugewinne ab und Sie verschwenden lediglich Tokens.

Ein Few-Shot-Prompt folgt einem konsistenten Muster: Zeigen Sie N Beispiele als Eingabe-Ausgabe-Paare und präsentieren Sie anschließend die neue Eingabe, deren Ausgabe das Modell vervollständigen soll. Die Formatierung der Beispiele vermittelt dem Modell das genaue Ausgabeformat, das Sie erwarten.

Die Qualität Ihrer Beispiele ist genauso wichtig wie ihre Anzahl. Wählen Sie Beispiele aus, die:

• Grenzfälle abdecken — Fügen Sie ein Beispiel mit einer mehrdeutigen Eingabe hinzu, damit das Modell erkennt, wie diese behandelt werden soll
• den gesamten Ausgaberaum abdecken — Wenn Sie drei Klassen haben, sollte mindestens ein Beispiel für jede Klasse enthalten sein
• repräsentativ sind — Verwenden Sie Beispiele, die Stil und Komplexität realer Eingaben in der Produktion ähneln
• ein einheitliches Format haben — Jede Formatabweichung in Ihren Beispielen wird in die Ausgabe des Modells übernommen

Schlecht ausgewählte Beispiele können die Leistung sogar beeinträchtigen, indem sie das Modell über die Verteilung der Aufgaben irreführen.

Verwenden Sie Zero-Shot, wenn die Aufgabe geläufig und klar definiert ist, Sie möglichst wenige Tokens verbrauchen möchten oder schnell iterieren und noch keine Beispiele sammeln können. Zero-Shot ist außerdem vorzuziehen, wenn das allgemeine Wissen des Modells nicht durch Beispiele eingeschränkt werden soll.

Verwenden Sie Few-Shot, wenn das Ausgabeformat ungewöhnlich oder strikt vorgegeben ist, Sie domänenspezifische Kategorien haben, Zero-Shot eine inkonsistente Formatierung erzeugt oder das Modell dauerhaft einem bestimmten Stil oder Ton folgen soll. Few-Shot ist besonders effektiv für Extraktion, Klassifizierung und Generierung mit Formatvorgaben.

Klassifizierung ist einer der wertvollsten Anwendungsfälle für Few-Shot-Prompting. Wenn Sie benutzerdefinierte Labels haben, die keinen gängigen Kategorien entsprechen, vermitteln Sie dem Modell mit Beispielen Ihre Taxonomie. Die folgenden Beispiele definieren genau, was Bug, Feature Request und Question im Kontext von Support-Tickets bedeuten.

Zwischen Zero-Shot und Few-Shot liegt One-Shot-Prompting: die Bereitstellung genau eines Beispiels. Das reicht häufig aus, um Formatierungsprobleme zu beheben oder mehrdeutige Aufgaben zu präzisieren, und verbraucht deutlich weniger Tokens als ein vollständiger Few-Shot-Prompt. One-Shot ist ein guter erster Eskalationsschritt, wenn Zero-Shot unzuverlässige Ergebnisse liefert.

Beginnen Sie in der Praxis mit Zero-Shot, prüfen Sie die Ergebnisse anhand einer Stichprobe realer Eingaben und fügen Sie nur dort Beispiele hinzu, wo das Modell Fehler macht. So bleiben Ihre Prompts schlank und tokensparend, während Sie gezielt die wichtigsten Verbesserungen erreichen.

In Produktionssystemen ist es suboptimal, für jede Anfrage dieselben wenigen Beispiele fest zu hinterlegen. Bei der dynamischen Few-Shot-Auswahl werden mithilfe der Ähnlichkeit von Embeddings die der aktuellen Eingabe ähnlichsten Beispiele aus einer beschrifteten Beispielsammlung abgerufen und anschließend nur diese Beispiele in den Prompt eingefügt.

Auf diese Weise sieht das Modell stets die relevantesten Demonstrationen für die jeweilige Eingabe und nicht allgemeine Beispiele, die möglicherweise weder zum Stil noch zur Domäne der Eingabe passen. Diese Technik verbindet die Vorteile von Few-Shot-Prompting mit der Skalierbarkeit eines Retrieval-Systems und wird manchmal als beispielbasiertes retrieval-augmentiertes Prompting bezeichnet.

Few-Shot-Prompting ist die zuverlässigste Methode, um strikte Ausgabeformate durchzusetzen, bevor Ihnen strukturierte Ausgaben oder der JSON-Modus zur Verfügung stehen. Indem Sie dem Modell genau das erwartete Format zeigen – einschließlich Feldnamen, Trennzeichen und Reihenfolge –, erhöhen Sie die Wahrscheinlichkeit einer parsbaren Ausgabe erheblich.

Beenden Sie Ihren Few-Shot-Prompt stets mit dem Anfang des erwarteten Ausgabemusters (z. B. der öffnenden geschweiften Klammer eines JSON-Objekts oder dem ersten Feldnamen). Dadurch wird das Modell darauf vorbereitet, das Muster fortzusetzen, anstatt möglicherweise zunächst die Aufgabe zusammenzufassen oder zu kommentieren.

Testen Sie Ihr Verständnis der AI-Engineering-Konzepte aus dieser Lektion.

In dieser Lektion haben Sie gelernt: Zero-Shot-Prompting fordert das Modell auf, Aufgaben allein anhand einer Beschreibung auszuführen, Few-Shot-Prompting stellt 2–8 Eingabe-Ausgabe-Beispiele bereit, um Format und Taxonomie zu vermitteln und die dynamische Few-Shot-Auswahl ruft mithilfe der Ähnlichkeit von Embeddings die relevantesten Beispiele für jede Anfrage ab. Als Nächstes beschäftigen wir uns mit Chain-of-Thought-Prompting für komplexe Schlussfolgerungsaufgaben.