Prompting de cadena de pensamiento

El prompting de Chain-of-thought (CoT) obtiene pasos de razonamiento intermedios antes de la respuesta final. La idea clave es que los transformers realizan una cantidad fija de cómputo por token, por lo que permitir que el modelo genere tokens de razonamiento le concede, en la práctica, más capacidad de cómputo secuencial para llegar a la respuesta.

Forzar una respuesta inmediata limita el cómputo disponible para un problema difícil; CoT elimina ese límite al distribuir el cómputo entre los tokens generados.

La famosa frase desencadenante «Let us think step by step» (Kojima et al., 2022) obtiene razonamiento sin ejemplos. Funciona porque los modelos ajustados mediante instrucciones han interiorizado el patrón de que esa frase precede a una solución desarrollada.

El CoT zero-shot es económico y sorprendentemente eficaz, pero la calidad de su razonamiento es menos controlable que la del CoT few-shot con ejemplos seleccionados.

El CoT few-shot (Wei et al., 2022) proporciona ejemplos que incluyen la traza de razonamiento, no solo la respuesta. Esto enseña tanto cómo razonar como el formato deseado, lo que produce cadenas más fiables y coherentes que el método zero-shot.

Seleccione ejemplos cuyo estilo, granularidad y longitud de razonamiento coincidan con lo que desea que se replique. Un razonamiento incoherente en los ejemplos produce cadenas incoherentes.

Haga siempre que la respuesta final sea extraíble automáticamente: termine la cadena con un marcador fijo (por ejemplo, The answer is X o un campo JSON). Analizar cadenas de texto libre es frágil.

En productos destinados a usuarios, puede ocultar la cadena y mostrar únicamente la respuesta analizada, manteniendo el razonamiento como borrador interno.

Una salvedad fundamental: la cadena verbalizada puede no reflejar el cómputo real del modelo. Los estudios demuestran que los modelos pueden producir razonamientos plausibles que racionalizan a posteriori una respuesta impulsada por sesgos ocultos (por ejemplo, la posición de una opción).

No trate el CoT como una explicación fiel ni como un registro de auditoría. Mejora la exactitud en muchas tareas, pero no permite observar el mecanismo real del modelo.

Para obtener una única cadena determinista, una temperatura baja reduce la varianza. Sin embargo, el CoT combina muy bien con el muestreo: con una temperatura moderada puede generar varias cadenas diversas y agregarlas (como se explica en self-consistency).

Evite la decodificación greedy cuando pretenda muestrear varias rutas; greedy elimina la diversidad e impide la agregación.

Para problemas complejos, imponga estructura a la cadena: pasos numerados, una tabla de estados o una separación entre planificación y ejecución. La estructura reduce los pasos omitidos y facilita la verificación del estado intermedio.

Los enfoques asistidos por programas van más allá: generan código ejecutable como razonamiento y delegan la aritmética en un intérprete, eliminando toda una clase de errores de cálculo.

El CoT multiplica los tokens de salida, lo que aumenta el coste y la latencia. En elementos sencillos, esta sobrecarga no aporta nada; en los difíciles, es esencial. Un patrón pragmático es el razonamiento adaptativo: active CoT solo cuando una estimación económica de la dificultad o una respuesta directa con baja confianza lo justifique.

En los modelos de razonamiento con pensamiento incorporado, en cambio, se controla un presupuesto de esfuerzo de razonamiento en lugar de solicitar la cadena directamente.

Los modelos de razonamiento modernos realizan automáticamente una deliberación interna prolongada. Introducir instrucciones extensas como Let us think step by step puede resultar redundante o incluso contraproducente, ya que interfiere con su proceso de razonamiento aprendido.

Para estos modelos, prefiera descripciones concisas de la tarea y requisitos explícitos sobre el formato de respuesta, y ajuste el parámetro reasoning-effort en lugar de crear cadenas manualmente.

CoT puede perjudicar el rendimiento en tareas en las que la deliberación prevalece sobre la intuición correcta, en tareas sencillas de reconocimiento de patrones o cuando verbalizar el razonamiento introduce errores que el modelo no cometería implícitamente. También amplía la superficie de ataque para la inyección de prompts dentro de cadenas largas.

Compare CoT con las respuestas directas para cada tarea; nunca dé por hecho que los prompts de razonamiento son beneficiosos de forma universal.

CoT en producción: seleccione ejemplos coherentes (o confíe en el razonamiento nativo del modelo), exija un marcador de respuesta fácil de analizar, muestree varias cadenas para los elementos difíciles, valide la aritmética mediante la ejecución de código cuando sea posible y condicione el razonamiento a una estimación de dificultad para controlar los costes.

Registre las cadenas para analizarlas sin conexión, pero nunca las exponga como explicaciones de referencia.

Razone sobre por qué CoT resulta útil y en qué casos no.

Conclusiones clave:

• CoT intercambia tokens adicionales por cómputo secuencial adicional; ayuda en tareas de varios pasos, pero no en las triviales.
• CoT zero-shot utiliza una frase desencadenante; CoT few-shot proporciona ejemplos coherentes de razonamiento.
• Termine siempre con un marcador de respuesta extraíble por máquina; las cadenas no son explicaciones fieles.
• Muestree varias cadenas para los elementos difíciles, delegue la aritmética al código y condicione CoT a la dificultad.
• En modelos con razonamiento nativo, prefiera prompts concisos más un presupuesto de esfuerzo de razonamiento en lugar de instrucciones extensas sobre las cadenas.