Perdido no meio

Em modelos de contexto longo, a precisão da recuperação segue uma curva em U conforme a posição: os fatos no início e no fim do contexto são recuperados com precisão, enquanto os fatos no meio são recuperados com a menor precisão. Esse é o efeito da “perda no meio”.

• É uma propriedade da atenção e do treinamento, não algo aleatório.
• Persiste mesmo quando a resposta está presente de forma inequívoca.

A posição não é neutra; é um fator de confiabilidade que você precisa considerar no projeto.

Várias pressões se acumulam no meio: os vieses posicionais favorecem os tokens mais recentes e os primeiros, os dados de treinamento super-representam padrões de “resposta próxima ao início ou ao fim”, e o enorme número de distrações concorrentes no interior dilui a atenção dedicada a qualquer fato isolado.

Você não pode remover o viés do modelo, mas pode parar de lutar contra ele.

A primeira e mais confiável medida de mitigação é colocar nas extremidades aquilo que o modelo precisa usar. A instrução da tarefa e as evidências mais importantes devem ficar próximas do topo e do fim, não enterradas no centro.

• Comece com a tarefa e os fatos essenciais.
• Repita a instrução principal no final exato (“lembrete da sua tarefa: ...”).

Quando você controla a ordem dos fragmentos recuperados, não os despeje da frente para trás na ordem da pontuação de recuperação. Intercale-os para que os fragmentos mais relevantes fiquem nas duas extremidades e os menos relevantes preencham o meio — explorando deliberadamente a curva em U.

Esse carregamento nas bordas pode recuperar uma grande parte da perda nas posições intermediárias.

A solução mais barata para a perda no meio é ter menos conteúdo no meio. A pré-filtragem agressiva — removendo fragmentos irrelevantes antes da montagem — reduz o interior onde os fatos se perdem e concentra a atenção no que importa.

Uma solicitação focada de 15 mil tokens quase não tem um meio vulnerável; uma solicitação de 600 mil tokens é quase toda constituída pelo meio.

Forneça um mapa ao modelo. Um índice no topo, junto com âncoras de seção claras, permite que o modelo navegue até as regiões relevantes em vez de depender da recuperação baseada apenas na posição.

• Numere as seções e faça referência a elas na pergunta.
• Adicione âncoras explícitas, como SECTION 7: PRICING, que o modelo possa pesquisar.

A estrutura substitui parcialmente a confiabilidade posicional.

Peça ao modelo que enumere onde aparece o material relevante antes de responder. O ato de localizar primeiro as evidências combate a tendência de ignorar o meio.

“Primeiro liste todas as seções que mencionam a taxa de renovação com sua âncora; depois responda.” A varredura explícita revela conteúdo intermediário que uma pergunta direta deixaria passar.

Se um fato crítico cair na zona morta e a recuperação estiver instável, faça a solicitação novamente com esse fato movido para uma extremidade. Para tarefas com vários fatos, você pode executar rodadas que alternem quais fatos ocupam as posições fortes e depois reconciliar os resultados.

A rotação de posições é um recurso prático de robustez quando uma única organização não é confiável.

Para tarefas exaustivas (“encontrar todas as violações”), uma única execução gigantesca deixará passar itens do meio. Divida o conteúdo em janelas sobrepostas pequenas o bastante para não terem um meio fraco, execute cada uma e depois mescle os resultados e elimine as duplicatas.

• A sobreposição evita omissões nas bordas.
• A etapa de mesclagem reconcilia duplicatas e conflitos.

As tarefas de coverage favorecem muitas execuções pequenas em vez de uma única execução enorme.

A intensidade do efeito varia conforme o modelo e o formato da solicitação. Caracterize-o: insira um sinalizador em profundidades progressivas e trace a recuperação. Use a curva para decidir o tamanho seguro do contexto e sua política de carregamento nas bordas para esse modelo.

Projete com base no comportamento medido, não no senso comum.

Para superar a perda no meio: reduza o palheiro, carregue nas bordas o conteúdo mais relevante, repita a tarefa no final, adicione um índice e force uma varredura de localização antes da resposta, alterne as posições ao fazer uma nova pergunta e use divisão e mesclagem para uma coverage exaustiva. Acima de tudo, meça a curva do seu modelo e projete com base nela.

A recuperação em contextos longos tem formato de U: as extremidades são confiáveis, mas o meio não é. Combata isso reduzindo o palheiro, carregando nas bordas os fragmentos mais relevantes, repetindo a tarefa no final, adicionando um índice e forçando uma varredura de localização antes da resposta, alternando as posições ao fazer uma nova pergunta e usando divisão e mesclagem para uma coverage exaustiva. Meça a curva real do seu modelo e projete o posicionamento com base nela, em vez de confiar em uma recuperação uniforme.