Desarrollo de agentes guiado por evaluaciones
Escriba la evaluación antes de poner el agente en producción: es la única forma de iterar sin regresiones.
Desarrollo de agentes guiado por evaluaciones es una lección gratuita de AI Agents en CoddyKit. Esta es la lección 1 de 4. Puedes leer la lección completa abajo gratuitamente — luego la practicas en el navegador con un editor de código integrado y un tutor de IA 24/7. Forma parte de la ruta de aprendizaje de AI Agents, y tu progreso se sincroniza en la web y la app de CoddyKit. El curso de AI Agents incluye 4 lecciones en total.
Partes de esta lección aún no han sido traducidas y se muestran en inglés.
Las evaluaciones son pruebas para la IA
Usted no publicaría código sin pruebas. La misma lógica se aplica a los agentes basados en LLM: sin evaluaciones, cada cambio es una apuesta.
El desarrollo guiado por evaluaciones (EDD) consiste en escribir la evaluación ANTES de publicar el cambio.
El ciclo de EDD
- Escriba una evaluación fallida: entrada y comportamiento esperado
- Mejore el agente hasta que la evaluación se supere
- Añada la evaluación a su suite
- Ejecútela con cada cambio
Qué evaluar
En un agente, evalúe varios niveles:
- Componente — ¿el recuperador devuelve los fragmentos correctos?
- Paso — ¿el LLM elige la herramienta correcta?
- De extremo a extremo — ¿el agente produce la respuesta final correcta?
Datos de evaluación
Cada fila de evaluación contiene como mínimo:
eval_example = {
'input': 'What is our return policy?',
'expected_output': 'mentions 30-day window',
'expected_tool_calls': ['retrieve'],
'metadata': {'tags': ['policy', 'common']}
}
for k, v in eval_example.items():
print(f"{k}: {v}")
Run an Eval Suite
def run_evals(suite, agent):
results = []
for case in suite:
actual = agent.run(case['input'])
scores = [
score_correctness(actual, case['expected_output']),
score_tool_calls(actual.tool_calls, case['expected_tool_calls'])
]
results.append({'case': case, 'actual': actual, 'scores': scores})
return resultsIntegración con CI
Ejecute las evaluaciones en cada PR. Si la calidad cae por debajo del umbral, bloquee la integración:
# .github/workflows/evals.yml
on: pull_request
jobs:
evals:
runs-on: ubuntu-latest
steps:
- run: python -m evals.run --fail-below 0.85Periodicidad de las evaluaciones
- Evaluaciones de componentes — cada PR
- Evaluaciones de extremo a extremo — cada PR (muestreadas) y cada noche (completas)
- Trazas de producción -> conjunto de evaluación — semanalmente
Pipeline de producción a evaluación
Extraiga información de las trazas reales. Los resultados incorrectos se convierten en las evaluaciones del día siguiente:
for trace in production_traces_with_thumbs_down():
add_to_eval_suite(trace.input, expected=trace.fixed_output_from_human)Evaluación con LangSmith / Langfuse
Ambas herramientas incorporan compatibilidad con evaluaciones: versionado de conjuntos de datos, funciones de evaluación y vistas comparativas.
Comprobaciones manuales puntuales
Las evaluaciones automatizadas no detectan el estilo ni los matices. Lea periódicamente a mano 20 trazas aleatorias: así detectará problemas que las evaluaciones pasan por alto.
Antipatrón: memorización del conjunto de evaluación
Si ajusta el agente hasta que supere su evaluación, pero esta es pequeña, estará sobreajustándolo. Siga ampliando las evaluaciones y alterne las particiones de prueba y entrenamiento.
Mantenimiento del conjunto de evaluación
Las evaluaciones se desvían a medida que cambia el producto. Añada casos para las funciones nuevas y retire los casos correspondientes a funciones eliminadas.
Definición de EDD
¿Qué significa desarrollo guiado por evaluaciones?
Resumen
El desarrollo guiado por evaluaciones es imprescindible para los agentes serios. Escriba evaluaciones en cada nivel, ejecútelas en CI y amplíe su suite a partir de las trazas de producción.
Preguntas frecuentes
¿La lección «Desarrollo de agentes guiado por evaluaciones» es gratis?
Sí — el texto completo de «Desarrollo de agentes guiado por evaluaciones» es gratis para leer aquí en la web. Para practicarla de forma interactiva (editor de código integrado y tutor de IA 24/7) y desbloquear el resto del curso de AI Agents, actualiza a CoddyKit PRO. El curso de AI Agents incluye 4 lecciones en total.
¿Qué aprenderé en «Desarrollo de agentes guiado por evaluaciones»?
Escriba la evaluación antes de poner el agente en producción: es la única forma de iterar sin regresiones. Practicas AI Agents con código real que ejecutas directamente en el navegador, y un tutor de IA 24/7 responde tus preguntas mientras trabajas en la lección.
¿Necesito experiencia previa para empezar AI Agents?
No se requiere experiencia previa. AI Agents en CoddyKit está estructurado para principiantes hasta estudiantes avanzados, así que puedes empezar aquí o desde el inicio y avanzar a tu ritmo. Esta es la lección 1 de 4.
¿Cuánto tiempo toma la lección «Desarrollo de agentes guiado por evaluaciones»?
La mayoría de las lecciones de CoddyKit toman alrededor de 5–10 minutos. Cada una es compacta e interactiva, así que avanzas constantemente y retomas exactamente por donde dejaste en la web y la app.
¿Puedo escribir y ejecutar código en esta lección de AI Agents?
Sí. Cada lección de AI Agents incluye un editor de código integrado, así que escribes y ejecutas código real directamente en tu navegador y obtienes retroalimentación instantánea de IA — sin configuración local necesaria.
Todas las lecciones de este curso
- Desarrollo de agentes guiado por evaluaciones
- Crear un conjunto de pruebas de referencia
- Problemas de los LLM como jueces
- Conjuntos de pruebas comparativas: SWE-Bench, GAIA y ToolBench