Ventanas de contexto de un millón de tokens

Las ventanas de un millón de tokens le permiten colocar bases de código completas, corpus documentales o transcripciones de varias horas directamente en el contexto, sin necesidad de un sistema de recuperación. La promesa es todo en contexto: el modelo razona sobre el material sin procesar, en lugar de hacerlo sobre un resumen con pérdida.

• Razonamiento y refactorización de repositorios completos.
• Síntesis entre documentos sin fragmentación.
• Conversaciones de largo alcance que conservan los detalles iniciales.

Pero la capacidad no equivale a un uso eficaz.

La ventana anunciada es un límite superior, no una garantía de recuperación uniforme. El contexto efectivo, es decir, el intervalo en el que el modelo recupera información y razona de forma fiable, suele ser menor y desigual según la posición.

Trate la ventana como un presupuesto de valor no uniforme: los tokens cercanos a los extremos se recuperan mejor que los enterrados en el centro.

El coste de la atención crece con la longitud del contexto, al igual que el tiempo hasta el primer token. Un prompt de un millón de tokens puede implicar segundos de latencia de prefill y un coste considerable por llamada, incluso cuando la respuesta es breve.

• El prefill domina la latencia en prompts enormes.
• El coste aumenta con los tokens de entrada, independientemente del tamaño de la salida.
• Incluir contexto que no necesita equivale a pagar para confundir al modelo.

Más contexto puede perjudicar la precisión. El material irrelevante diluye la atención e introduce distractores a los que el modelo puede aferrarse. Para una pregunta concreta, un prompt centrado de 20.000 tokens suele superar a uno ruidoso de 500.000.

La regla es: incluya lo que ayude a la tarea y excluya lo que solo podría ser relevante.

El contexto largo gana cuando la tarea necesita un razonamiento global y transversal que la recuperación fragmentaría: 'encuentre todos los lugares del repositorio donde se infringe este invariante', 'reconcilie las contradicciones entre los diez contratos'. La recuperación por fragmentos puede pasar por alto la conexión que abarca varios fragmentos.

Use el contexto completo para sintetizar y la recuperación para consultas puntuales en corpus enormes.

La recuperación gana cuando la fracción relevante es mínima y estable. Obtener las 5 páginas relevantes de entre 50.000 es más barato, rápido y, a menudo, preciso que incluir las 50.000 y esperar que el modelo encuentre las adecuadas.

• Consultas frecuentes sobre un corpus estático -> indexar una vez y recuperar de forma económica.
• Síntesis global puntual -> contexto largo.

Muchos sistemas combinan ambas estrategias: recuperan para acotar y después usan contexto largo para sintetizar.

Como la recuperación varía según la posición, dónde coloca el contenido es una decisión de diseño. Coloque la instrucción de la tarea y el material más importante en los límites que el modelo recuerda mejor, y evite enterrar en el centro profundo los datos imprescindibles.

Gestione la posición deliberadamente, no como consecuencia accidental del orden de concatenación.

No dé por hecho que el modelo ha utilizado un dato enterrado. Póngalo a prueba. Inserte un dato canario conocido a una profundidad conocida y pídale que lo recupere; mida la recuperación en distintas profundidades para caracterizar su modelo con su estructura de prompt antes de confiar en él en producción.

En sesiones largas con agentes, no permita que el contexto crezca sin límites. Haga una compactación periódicamente: resuma los turnos obsoletos en un objeto de estado denso y elimine el historial sin procesar. Así conservará la señal, recuperará presupuesto y reducirá la dilución.

La acumulación es la opción predeterminada y la trampa; la compactación es la disciplina.

Los diseños más sólidos combinan estrategias: recupere un conjunto de candidatos acotado, colóquelo con una posición deliberada, almacene en caché el prefijo estable y compacte la conversación. El contexto largo es una herramienta más de un conjunto para gestionar el presupuesto, no un sustituto de la ingeniería.

• Recupere para reducir.
• Coloque para exponer.
• Almacene en caché para abaratar.
• Compacte para mantener.

Antes de recurrir a la ventana completa, pregúntese:

• ¿La tarea necesita un razonamiento global o una consulta puntual? Consulta puntual -> recupere.
• ¿La fracción relevante es pequeña y estable? Sí -> recupere y almacene en caché.
• ¿Será aceptable la latencia o el coste de un prefill enorme? No -> reduzca.
• ¿Ha verificado la recuperación a la profundidad en la que se basa? Si no, haga una prueba primero.

La capacidad es un permiso, no un plan.

Debe responder una pregunta factual muy específica cuya respuesta se encuentra en aproximadamente 3 páginas de un archivo estático de 40.000 páginas, y ejecutará esta consulta miles de veces al día.

Una ventana enorme es un presupuesto no uniforme, no una recuperación gratuita. El contexto efectivo es menor que la capacidad, la latencia y el coste aumentan con la entrada, y el material irrelevante diluye la precisión. Utilice el contexto largo para la síntesis global, la recuperación para datos puntuales y los enfoques híbridos para el resto: coloque el contenido crítico en zonas con alta recuperación, almacene en caché los prefijos estables, compacte las sesiones largas y compruebe siempre la recuperación antes de confiar en un dato enterrado.