Conjuntos de pruebas comparativas: SWE-Bench, GAIA y ToolBench

Para comparar modelos y frameworks entre equipos, los benchmarks públicos son esenciales. Cubren capacidades habituales de los agentes:

• SWE-Bench — tareas de ingeniería de software
• GAIA — tareas de asistentes generales
• ToolBench / BFCL — uso de herramientas
• WebArena — navegación en el navegador

SWE-Bench comprueba si un agente puede resolver incidencias reales de GitHub:

• 2294 incidencias reales de repositorios populares de Python
• El agente debe producir un parche que supere todas las pruebas ocultas
• Los agentes de vanguardia más avanzados ya resuelven entre el 50 % y el 70 % (frente a menos del 5 % en 2023)

OpenAI publicó un subconjunto de 500 incidencias con controles de calidad más estrictos (SWE-Bench Verified). Es el estándar del sector.

Benchmark de asistentes de IA general (Meta + HF, 2023):

• 466 preguntas repartidas en tres niveles de dificultad
• Requiere navegación web, ejecución de código y razonamiento multimodal
• Está diseñado para que una persona tarde unos 30 segundos; los agentes más avanzados alcanzan aproximadamente el 60 %

«¿Cuántos álbumes de estudio de Mercedes Sosa se publicaron entre 1972 y 1985? Use la lista de su página de Wikipedia en inglés».

Requiere navegar por la web, leer una tabla y contar, capacidades típicas de las tareas de agentes de varios pasos.

El estándar para evaluar llamadas a herramientas:

• Miles de ternas (consulta, definición de herramienta, llamada esperada)
• Cubre escenarios sencillos, paralelos y de omisión de herramientas
• Se actualiza trimestralmente

Es más grande, pero también más desordenado: más de 16.000 API de RapidAPI y cadenas de herramientas de varios pasos. Es menos canónico que BFCL, pero cubre una mayor variedad.

Benchmark de código abierto para agentes de navegación web. Aloja 4 sitios web independientes (comercio electrónico, foro, portal para desarrolladores y GitLab); los agentes deben completar tareas realistas.

• Los benchmarks públicos se filtran a los datos de entrenamiento (riesgo de optimización específica)
• Un único dominio: su tarea puede ser más difícil o más sencilla
• «Resolver el X %» oculta qué X % se ha resuelto; la cola larga importa

Los benchmarks públicos son útiles para comparar enfoques. Sin embargo, su propio conjunto de referencia con SUS datos es el único número que importa para SU producto.

Una práctica saludable para el equipo:

• Ejecute benchmarks públicos trimestralmente para seguir la capacidad de vanguardia
• Ejecute evaluaciones internas en cada PR
• Confíe en las cifras internas para tomar decisiones y en las públicas para conocer el panorama

Cuando un artículo afirma «75 % en SWE-Bench»:

• Compruebe QUÉ SWE-Bench se ha utilizado (Lite, Verified o completo)
• Compruebe si se permitieron varios intentos
• Compruebe si se utilizaron herramientas ocultas o pistas

Es fácil interpretar mal las cifras destacadas.

SWE-Bench para agentes de código, GAIA para asistentes generales, BFCL para uso de herramientas y WebArena para navegadores. Úselos para conocer el panorama; confíe en su propia evaluación para tomar decisiones.