Lost in the Middle

Bei Modellen mit langem Kontext folgt die Abrufgenauigkeit je nach Position einer U-förmigen Kurve: Fakten am Anfang und Ende des Kontexts werden zuverlässig abgerufen, während Fakten in der Mitte am schlechtesten abgerufen werden. Dies ist der „Lost-in-the-Middle“-Effekt.

• Er ist eine Eigenschaft von Aufmerksamkeit und Training, nicht zufällig.
• Er bleibt bestehen, selbst wenn die Antwort eindeutig vorhanden ist.

Die Position ist nicht neutral, sondern ein Zuverlässigkeitsfaktor, den Sie bei Ihrem Design berücksichtigen müssen.

In der Mitte wirken mehrere Faktoren zusammen: Positionsverzerrungen begünstigen aktuelle und früheste Tokens, Trainingsdaten enthalten überproportional viele Muster nach dem Schema „Antwort nahe am Anfang oder Ende“, und die schiere Anzahl konkurrierender Ablenkungen im Inneren schwächt die Aufmerksamkeit für einzelne Fakten.

Sie können die Verzerrung des Modells nicht beseitigen, aber Sie können aufhören, gegen sie anzukämpfen.

Die erste und zuverlässigste Gegenmaßnahme: Platzieren Sie das, was das Modell unbedingt verwenden muss, an den Grenzen. Die Aufgabenanweisung und die wichtigsten Belege gehören in die Nähe des Anfangs und des Endes, nicht vergraben in die Mitte.

• Beginnen Sie mit der Aufgabe und den wichtigsten Fakten.
• Wiederholen Sie die zentrale Anweisung ganz am Ende („Erinnerung an Ihre Aufgabe: ...“).

Wenn Sie die Reihenfolge der abgerufenen Chunks bestimmen, platzieren Sie sie nicht einfach in der Reihenfolge ihrer Retrieval-Scores vom Anfang bis zum Ende. Verschachteln Sie sie so, dass die relevantesten Chunks an beiden Rändern liegen und die am wenigsten relevanten die Mitte füllen – nutzen Sie die U-Kurve gezielt aus.

Diese „Randplatzierung“ kann einen großen Teil des Verlusts an mittleren Positionen ausgleichen.

Die kostengünstigste Lösung für den Verlust in der Mitte besteht darin, weniger Mitte zu haben. Eine aggressive Vorfilterung – bei der irrelevante Chunks vor dem Zusammenstellen entfernt werden – verkleinert den inneren Bereich, in dem Fakten verloren gehen, und konzentriert die Aufmerksamkeit auf das Wesentliche.

Ein fokussierter Prompt mit 15.000 Tokens hat kaum eine anfällige Mitte; ein Prompt mit 600.000 Tokens besteht größtenteils aus Mitte.

Geben Sie dem Modell eine Karte. Ein Inhaltsverzeichnis am Anfang sowie klare Abschnittsanker ermöglichen es dem Modell, zu relevanten Bereichen zu navigieren, anstatt sich auf den reinen positionsabhängigen Abruf zu verlassen.

• Nummerieren Sie Abschnitte und verweisen Sie in der Frage auf sie.
• Fügen Sie explizite Anker wie SECTION 7: PRICING hinzu, nach denen das Modell suchen kann.

Struktur kann die Positionsabhängigkeit teilweise ersetzen.

Fordern Sie das Modell auf, vor der Antwort aufzulisten, wo relevante Inhalte vorkommen. Das vorherige Auffinden von Belegen wirkt der Tendenz entgegen, die Mitte zu überspringen.

„Listen Sie zuerst jeden Abschnitt auf, der die Verlängerungsgebühr erwähnt, einschließlich seines Ankers, und beantworten Sie dann die Frage.“ Dieser explizite Scan macht Inhalte aus der Mitte sichtbar, die eine direkte Frage übersehen würde.

Wenn ein kritischer Fakt in der toten Zone landet und der Abruf unsicher ist, senden Sie die Anfrage erneut und verschieben Sie diesen Fakt an einen Rand. Bei Aufgaben mit mehreren Fakten können Sie Durchläufe ausführen, in denen abwechselnd andere Fakten die starken Positionen einnehmen, und die Ergebnisse anschließend abgleichen.

Die Rotation der Positionen ist ein praktischer Robustheitstrick, wenn ein einzelnes Layout unzuverlässig ist.

Bei Aufgaben mit dem Ziel vollständiger Abdeckung („Finden Sie alle Verstöße“) wird ein einziger riesiger Durchlauf Elemente aus der Mitte übersehen. Teilen Sie den Inhalt in sich überschneidende Fenster auf, die klein genug sind, um keine schwache Mitte zu haben, führen Sie jeden Durchlauf aus und führen Sie die Ergebnisse anschließend zusammen und entfernen Sie Duplikate.

• Die Überschneidung verhindert, dass Elemente an den Grenzen übersehen werden.
• Der Zusammenführungsschritt gleicht Duplikate und Konflikte ab.

Aufgaben mit dem Ziel vollständiger Abdeckung profitieren von vielen kleinen Durchläufen statt von einem einzigen riesigen.

Wie stark der Effekt ausfällt, hängt vom Modell und der Form des Prompts ab. Ermitteln Sie ihn: Fügen Sie ein Canary-Signal in verschiedenen Tiefen ein und stellen Sie den Abruf grafisch dar. Verwenden Sie die Kurve, um für dieses Modell die sichere Kontextlänge und Ihre Strategie für die Randplatzierung festzulegen.

Richten Sie Ihre Entwicklung an gemessenem Verhalten aus, nicht an Hörensagen.

Um den Lost-in-the-Middle-Effekt zu überwinden, verkleinern Sie den Heuhaufen, platzieren Sie die relevantesten Inhalte an den Rändern, formulieren Sie die Aufgabe am Ende erneut, fügen Sie einen Index hinzu und erzwingen Sie einen Scan zum Auffinden relevanter Inhalte vor der Antwort, rotieren Sie bei einer erneuten Anfrage die Positionen und verwenden Sie für eine vollständige Abdeckung Chunk-and-Merge. Messen Sie vor allem die Kurve für Ihr Modell und richten Sie Ihr Design danach aus.

Sie haben einen einzigen Fakt, den das Modell unbedingt verwenden muss, sowie eine große Menge unterstützenden Kontexts, und Sie haben festgestellt, dass das Modell diesen Fakt manchmal ignoriert.

Der Abruf in langen Kontexten folgt einer U-förmigen Kurve: Die Ränder sind zuverlässig, die Mitte nicht. Wirken Sie dem entgegen, indem Sie den Heuhaufen verkleinern, die relevantesten Chunks an den Rändern platzieren, die Aufgabe am Ende erneut formulieren, einen Index hinzufügen und einen Scan zum Auffinden relevanter Inhalte vor der Antwort erzwingen, bei einer erneuten Anfrage die Positionen rotieren und für eine vollständige Abdeckung Chunk-and-Merge verwenden. Messen Sie die tatsächliche Kurve Ihres Modells und richten Sie die Platzierung danach aus, anstatt auf einen gleichmäßigen Abruf zu vertrauen.