Warum strukturierte Ausgaben

Natürlichsprachliche LLM-Ausgaben lassen sich nicht eindeutig parsen. Ein Modell kann einmal The price is $42 und beim nächsten Mal It costs forty-two dollars antworten. Nachgelagerter Code, der eine Zahl erwartet, schlägt dann fehl.

Strukturiertes Output bedeutet, das Modell darauf zu beschränken, Daten in einer maschinenlesbaren Form (JSON, typisierte Objekte) auszugeben, sodass das Parsen deterministisch und nicht heuristisch erfolgt.

Teams investieren häufig mehr Entwicklungsaufwand in die Nachverarbeitung spröder Texte als in das Prompting. Regex-Extraktion, unscharfer Zeichenfolgenabgleich und Schleifen, die bei fehlgeschlagenem Parsen einen erneuten Versuch starten, sind Symptome unstrukturierten Outputs.

• Regex versagt, wenn sich die Formulierung ändert.
• Unscharfer Abgleich führt zu unbemerkten Fehlern.
• Jedes neue Feld vervielfacht den Umfang der Parserlogik.

Strukturierte Generierung verlagert diesen Vertrag stromaufwärts in die Anfrage.

Es gibt ein Spektrum der Durchsetzungsstärke:

• Soft Prompting — im Prompt um JSON bitten; keine Garantie.
• Schema-gestützt — ein JSON Schema übergeben; der Provider validiert es.
• Constrained Decoding — Grammatik/FSM blendet ungültige Tokens aus, sodass nur gültiges JSON generiert werden kann.

Jede Ebene tauscht Flexibilität gegen Zuverlässigkeit.

Auf der stärksten Ebene wendet der Decoder bei jedem Schritt eine Token-Maske an. Eine Grammatik, die häufig zu einer endlichen Zustandsmaschine kompiliert wird, berechnet, welche nächsten Tokens die Ausgabe gültig halten, und der Sampler kann nur aus dieser Menge auswählen.

Dadurch wird fehlerhaftes JSON strukturell unmöglich, statt lediglich davon abzuraten.

Moderne APIs stellen ein response_format mit einem strikten JSON Schema bereit. Der Provider garantiert, dass die Antwort dem Schema entspricht, sodass Sie sie ohne defensiven Code deserialisieren können.

Betrachten Sie das Schema als API-Vertrag zwischen dem Modell und Ihrem System. Wie eine typisierte Funktionssignatur dokumentiert es die Absicht und ermöglicht Garantien, die denen zur Compile-Zeit ähneln.

Damit wird die LLM-Ausgabe von einer Empfehlung, die Ihr Code interpretieren muss, zu einem typisierten Wert, dem Ihr Code vertrauen kann.

Struktur schränkt die Form ein, nicht unbedingt den Inhalt. Ein Schema mit einem freien Feld summary: string erlaubt weiterhin kreative Prosa in diesem Feld.

Best Practice: Strukturieren Sie die Hülle (Felder, Typen, Enums) strikt und lassen Sie kreative Freiheit nur in dafür vorgesehenen Zeichenfolgenfeldern zu.

Eine Freitextklassifikation (sentiment: 'kind of positive') lässt sich nicht parsen. Ein Enum erzwingt die Auswahl eines Werts aus einer festen Menge und beseitigt damit eine ganze Klasse von Normalisierungsfehlern.

Strukturiertes Output lässt sich wesentlich einfacher protokollieren, vergleichen und überwachen. Sie können Metriken auf Feldebene berechnen, Drift erkennen und bei fehlenden Feldern Alarme auslösen.

Behandeln Sie Schemas als versionierte Artefakte: Fügen Sie Felder zunächst als optionale Felder hinzu, kennzeichnen Sie sie vor dem Entfernen als veraltet und versehen Sie jede Antwort mit der Schema-Version, mit der sie erzeugt wurde.

Zu starke Einschränkungen können die Qualität beeinträchtigen. Das Erzwingen eines komplexen Schemas während eines Denkschritts kann Chain-of-Thought unterdrücken.

• Lassen Sie das Modell zunächst im Freitext denken.
• Führen Sie anschließend einen zweiten, strukturierten Aufruf aus, um die Schlussfolgerung zu formatieren.

Die Trennung von Denken und Formatierung ist häufig besser als ein einziger übermäßig eingeschränkter Aufruf.

Strukturiertes Output senkt in der Regel die Gesamtkosten: weniger Wiederholungsversuche, weniger für Prosa und Rahmentext ausgegebene Tokens und kein separater Parsing-Dienst. Modi mit strikt definiertem Schema können jedoch einen geringfügigen serverseitigen Mehraufwand verursachen und den ersten Versuch ablehnen. Kombinieren Sie sie daher immer mit einer Reparaturstrategie, die später behandelt wird.

Welche Technik macht fehlerhaftes JSON strukturell unmöglich, statt es nur zu unterbinden?

Sie verstehen nun, warum strukturiertes Output wichtig ist:

• Es ersetzt sprödes Parsing durch einen typisierten Vertrag.
• Die Durchsetzung reicht von Soft Prompting bis zu Constrained Decoding.
• Enums und strikt definierte Hüllen beseitigen ganze Fehlerklassen.
• Struktur unterstützt Observability und Versionierung.
• Trennen Sie Denken und Formatierung, um Qualitätsverluste zu vermeiden.

Als Nächstes geht es darum, wie Sie diesen Vertrag mit JSON Schema in Prompts präzise ausdrücken.