Lost in the Middle

Den første og mest pålidelige modforanstaltning er at placere det, modellen skal bruge, ved grænserne. Opgaveinstruktionen og de vigtigste beviser hører hjemme nær toppen og bunden, ikke begravet i midten.

• Begynd med opgaven og de vigtigste fakta.
• Gentag kerneinstruktionen helt til sidst ("påmindelse om din opgave: ...").

Når du styrer rækkefølgen af hentede tekstblokke, skal du ikke bare placere dem fra ende til anden efter hentningsscore. Flet dem ind, så de mest relevante tekstblokke ligger ved begge kanter, mens de mindst relevante fylder midten — og udnyt U-kurven med vilje.

Denne placering ved kanterne kan genvinde en stor del af tabet ved midterpositioner.

Den billigste løsning på tabet i midten er at have mindre midte. Aggressiv forudgående filtrering — hvor irrelevante tekstblokke fjernes før samlingen — gør det indre område mindre, så fakta ikke går tabt, og samler opmærksomheden om det, der betyder noget.

En fokuseret prompt på 15.000 tokens har næsten ingen sårbar midte; en prompt på 600.000 tokens består for det meste af midte.

Giv modellen et kort. En indholdsfortegnelse øverst sammen med tydelige afsnitsankre lader modellen navigere til relevante områder i stedet for at være afhængig af rå positionel genkaldelse.

• Nummerér afsnit, og henvis til dem i spørgsmålet.
• Tilføj eksplicitte ankre som AFSNIT 7: PRISSÆTNING, som modellen kan søge efter.

Struktur kan delvist erstatte positionel pålidelighed.

Bed modellen om at opregne, hvor det relevante materiale findes, før den svarer. Det at lokalisere beviser først modvirker tendensen til at springe midten over.

"Først skal du opliste hvert afsnit, der nævner fornyelsesgebyret, sammen med dets anker, og derefter svare." Den eksplicitte gennemgang gør indhold i midten synligt, som et direkte spørgsmål ellers ville overse.

Hvis et kritisk faktum lander i den døde zone, og genkaldelsen er usikker, skal du sende kaldet igen med dette faktum flyttet til en kant. Ved opgaver med flere fakta kan du køre gennemløb, der skifter, hvilke fakta der indtager de stærke positioner, og derefter sammenholde resultaterne.

Positionsrotation er et praktisk robusthedstrick, når ét layout er upålideligt.

Ved udtømmende opgaver ("find alle overtrædelser") vil ét enormt gennemløb overse elementer i midten. Opdel materialet i overlappende vinduer, der er små nok til ikke at have en svag midte, kør hvert vindue, og flet derefter resultaterne sammen, mens du fjerner dubletter.

• Overlap forhindrer, at elementer ved grænserne overses.
• Fletningstrinnet forener dubletter og konflikter.

Opgaver med krav om fuld dækning favoriserer mange små gennemløb frem for ét enormt.

Effektens styrke varierer efter model og promptens form. Karakterisér den: indsæt en kontrolværdi i forskellige dybder, og afbild genkaldelsen. Brug kurven til at beslutte din sikre kontekstlængde og din politik for placering ved kanterne for den pågældende model.

Udform systemet efter målt adfærd, ikke efter overleveringer.

Sådan overvinder du det fortabte i midten: Formindsk høstakken, placér det mest relevante indhold ved kanterne, gentag opgaven til sidst, tilføj et indeks, og tving en gennemgang, hvor materialet lokaliseres før besvarelsen. Skift positioner, når du spørger igen, og brug opdeling og sammenfletning til udtømmende dækning. Frem for alt skal du måle kurven for din model og udforme systemet efter den.

Genkaldelse fra lang kontekst er U-formet: Kanterne er pålidelige, midten er ikke. Modvirk det ved at formindske høstakken, placere de mest relevante tekstblokke ved kanterne, gentage opgaven til sidst, tilføje et indeks og tvinge en gennemgang, hvor materialet lokaliseres før besvarelsen, skifte positioner, når du spørger igen, og bruge opdeling og sammenfletning til udtømmende dækning. Mål din models faktiske kurve, og udform placeringen efter den i stedet for at stole på ensartet genkaldelse.