Orden y actualidad de los ejemplos

El orden de los ejemplos few-shot puede hacer variar la precisión varios puntos porcentuales, convirtiendo a veces un prompt casi aleatorio en uno eficaz, y viceversa. Esta volatilidad existe incluso cuando el conjunto de ejemplos permanece fijo.

Trate el orden como un hiperparámetro de primera clase que debe buscarse, no como un detalle secundario. Informar de resultados few-shot sin controlar el orden carece de solidez científica.

Los transformadores solo decodificador presentan un sesgo de recencia: los tokens más cercanos al punto de generación ejercen una influencia desproporcionada. La última demostración antes de la consulta es la que tiene más probabilidades de determinar el formato, la etiqueta y el tono.

Esto se debe en parte a un efecto de los patrones de atención y de la codificación posicional. La consecuencia práctica es que el modelo imita con mayor facilidad aquello que coloque en último lugar.

Los estudios sobre contextos largos revelan un perfil de atención con forma de U: los modelos prestan mucha atención al principio y al final del contexto, pero menos al centro. Las demostraciones críticas enterradas en la parte central del prompt quedan, en la práctica, descontadas.

Coloque los ejemplos más importantes o complejos al principio o, dado el sesgo de recencia, cerca del final; nunca los deje aislados en el centro de un bloque largo de demostraciones.

Los sesgos de recencia y hacia la etiqueta mayoritaria se acumulan. Si su última demostración pertenece a la clase A, el modelo se inclina a predecir A. Al combinarlo con un conjunto de demostraciones donde predomina A, la distribución previa queda muy sesgada.

En una clasificación equilibrada, alterne las etiquetas y asegúrese de que el último ejemplo no pertenezca siempre a la misma clase en las distintas variantes del prompt.

Una heurística sólida en el aprendizaje few-shot aumentado por recuperación consiste en ordenar los ejemplos recuperados por similitud ascendente con respecto a la consulta, de modo que la demostración más relevante quede más cerca de ella y se beneficie de la recencia.

Esto combina la selección dinámica con el aprovechamiento de la recencia: el contexto relevante está presente y, además, se sitúa donde el modelo le presta más atención.

Para el razonamiento o la generación, un orden curricular (de fácil a difícil) puede ayudar al modelo a desarrollar progresivamente el comportamiento objetivo y terminar con un ejemplo complejo que demuestre toda la profundidad del razonamiento justo antes de la consulta.

Esto depende de la tarea; valídelo frente a órdenes aleatorios y basados en similitud en lugar de dar por hecho que será útil.

Cuantifique hasta qué punto su prompt es frágil muestreando muchos órdenes e informando de la varianza de la exactitud. Una varianza alta indica un prompt inestable que puede sufrir regresiones impredecibles en producción.

Use esta métrica para comparar diseños de prompts: un prompt robusto frente al orden es más seguro que otro con una puntuación ligeramente superior, pero volátil.

Cuando no dispone de etiquetas para puntuar los órdenes, puede seleccionar uno usando la entropía de las predicciones del modelo en un conjunto de sondeo: los órdenes que producen predicciones seguras, de baja entropía y bien distribuidas tienden a generalizar mejor (Lu et al., 2022).

Esto le permite elegir una buena permutación sin un conjunto de validación etiquetado.

La sensibilidad al orden y el sesgo de recencia inflan determinadas etiquetas. La calibración contextual mitiga este efecto estimando la distribución previa del modelo con una entrada sin contenido y corrigiendo las probabilidades predichas, lo que reduce el impacto de cualquier orden individual.

La calibración, combinada con un orden adecuado, produce un comportamiento más estable en producción que perseguir la única permutación con mejores resultados.

Si utiliza el almacenamiento en caché de prompts, el prefijo (incluido el bloque de demostraciones) debe mantenerse estable a nivel de bytes para aprovechar la caché. Reordenar los ejemplos con frecuencia en cada solicitud destruye la reutilización de la caché y aumenta el coste y la latencia.

Resolución: fije un único orden validado para el bloque estático de demostraciones y almacénelo en caché; reserve el reordenamiento dinámico únicamente para la parte final recuperada y específica de la consulta.

Valores predeterminados prácticos: equilibre y alterne las etiquetas, coloque los ejemplos clave o difíciles en los extremos (evite el centro), ordene los ejemplos recuperados por similitud ascendente para que el mejor quede cerca de la consulta, mida la varianza del orden y aplique calibración para atenuar el sesgo residual.

Después, fije el orden para el almacenamiento en caché y vuelva a validarlo cada vez que cambie el conjunto de ejemplos.

Analice la posición de una demostración fundamental.

Conclusiones principales:

• El orden de los ejemplos es un hiperparámetro que puede modificar la exactitud en varios puntos; búsquelo y comunique la varianza.
• El sesgo de recencia hace que la última demostración sea la más influyente; el fenómeno «perdido en el centro» resta peso a los ejemplos centrales.
• Equilibre y alterne las etiquetas, ordene las demostraciones recuperadas por similitud ascendente y considere la ordenación curricular.
• Seleccione órdenes mediante la entropía cuando escaseen las etiquetas y aplique calibración contextual para atenuar el sesgo.
• Fije un orden estable para el almacenamiento en caché de prompts; reordene únicamente la parte final recuperada de forma dinámica.