Perdido en el centro

En los modelos de contexto largo, la precisión de la recuperación sigue una curva en forma de U según la posición: los datos situados al principio y al final del contexto se recuperan bien, mientras que los datos del centro se recuperan peor. Este es el efecto de «perder información en el centro».

• Es una propiedad de la atención y del entrenamiento, no algo aleatorio.
• Persiste incluso cuando la respuesta está presente de forma inequívoca.

La posición no es neutral; es un factor de fiabilidad que debe tener en cuenta al diseñar el sistema.

En el centro se acumulan varias presiones: los sesgos posicionales favorecen los tokens más recientes y los iniciales, los datos de entrenamiento sobrerrepresentan los patrones en los que la respuesta está cerca del principio o del final, y la gran cantidad de elementos distractores que compiten en la zona interior diluye la atención prestada a un dato concreto.

No puede eliminar el sesgo del modelo, pero sí puede dejar de luchar contra él.

La primera y más fiable medida de mitigación es colocar en los límites aquello que el modelo debe utilizar. La instrucción de la tarea y las pruebas de mayor valor deben estar cerca de la parte superior e inferior, no enterradas en el centro.

• Empiece con la tarea y los datos clave.
• Repita la instrucción principal al final del todo («recordatorio de la tarea: ...»).

Cuando controle el orden de los fragmentos recuperados, no los vierta de principio a fin siguiendo el orden de puntuación de recuperación. Intercálelos de modo que los fragmentos más relevantes queden en ambos extremos y los menos relevantes ocupen el centro; así aprovechará deliberadamente la curva en forma de U.

Esta «colocación en los extremos» puede recuperar una gran parte de la información que se pierde en las posiciones centrales.

La solución más económica para perder menos información en el centro es tener menos zona central. Un filtrado previo exhaustivo —eliminando los fragmentos irrelevantes antes de ensamblar el prompt— reduce la zona interior donde se pierden los datos y concentra la atención en lo importante.

Un prompt centrado de 15.000 tokens casi no tiene una zona central vulnerable; un prompt de 600.000 tokens es, en su mayor parte, zona central.

Proporcione al modelo un mapa. Una tabla de contenidos en la parte superior, junto con anclas de sección claras, permite al modelo navegar hasta las regiones pertinentes en lugar de depender de la recuperación posicional directa.

• Numere las secciones y haga referencia a ellas en la pregunta.
• Añada anclas explícitas como SECTION 7: PRICING que el modelo pueda buscar.

La estructura sustituye parcialmente a la fiabilidad posicional.

Pida al modelo que enumere dónde aparece el material pertinente antes de responder. El acto de localizar primero las pruebas contrarresta la tendencia a omitir el centro.

«Primero enumere todas las secciones que mencionen la tarifa de renovación junto con su ancla; después responda». Este examen explícito hace visible el contenido central que una pregunta directa pasaría por alto.

Si un dato crítico cae en la zona muerta y la recuperación es poco fiable, vuelva a emitir la llamada con ese dato desplazado a un extremo. En tareas con varios datos, puede ejecutar pasadas que roten los datos que ocupan las posiciones fuertes y conciliar los resultados.

Rotar las posiciones es un recurso práctico de robustez cuando un único diseño no resulta fiable.

En tareas exhaustivas («encuentre todas las infracciones»), una única pasada enorme omitirá elementos centrales. Divida el contenido en ventanas solapadas lo bastante pequeñas para no tener una zona central débil, ejecute cada una y, después, combine y elimine los duplicados de los resultados.

• El solapamiento evita omisiones en los límites.
• El paso de combinación reconcilia los duplicados y los conflictos.

Las tareas de cobertura favorecen muchas pasadas pequeñas frente a una sola pasada enorme.

La intensidad del efecto varía según el modelo y la forma del prompt. Caracterícelo: inserte un token señuelo a distintas profundidades y trace la recuperación. Utilice la curva para decidir la longitud de contexto segura y la política de colocación en los extremos para ese modelo.

Diseñe basándose en el comportamiento medido, no en ideas tradicionales sin comprobar.

Para superar la pérdida de información en el centro: reduzca el pajar, coloque el contenido más relevante en los extremos, repita la tarea al final, añada un índice y fuerce un examen de localización antes de responder, rote las posiciones al volver a preguntar y utilice la división y combinación para lograr una cobertura exhaustiva. Sobre todo, mida la curva de su modelo y diseñe el sistema conforme a ella.

La recuperación en contextos largos sigue una forma de U: los extremos son fiables, pero el centro no. Contrarreste este efecto reduciendo el pajar, colocando los fragmentos más relevantes en los extremos, repitiendo la tarea al final, añadiendo un índice y forzando un examen de localización antes de responder, rotando las posiciones al volver a preguntar y utilizando la división y combinación para lograr una cobertura exhaustiva. Mida la curva real de su modelo y diseñe la colocación conforme a ella, en lugar de confiar en una recuperación uniforme.