Torneo de selección de modelos: comparación de cinco algoritmos

Ningún algoritmo domina en todos los conjuntos de datos. El teorema de no hay almuerzo gratis demuestra que, promediado sobre todos los problemas posibles, el rendimiento de todos los algoritmos es igual; es decir, debe comparar empíricamente los algoritmos con sus datos específicos. Un torneo de selección de modelos entrena y evalúa sistemáticamente varios algoritmos diversos en condiciones idénticas, lo que permite determinar cuál se adapta mejor a la estructura de los datos. El ganador podrá pasar a la optimización de hiperparámetros y a la evaluación para su implementación.

Para realizar una comparación justa, todos los algoritmos deben partir de la misma matriz de características preprocesada y evaluarse con el mismo conjunto de prueba reservado. Integre cada algoritmo en un Pipeline que incluya el preprocesamiento, de modo que este se ajuste únicamente en los folds de entrenamiento. Utilice un random_state fijo en todas partes para garantizar la reproducibilidad. Mantenga el conjunto de prueba aislado: no lo consulte hasta la evaluación final y única del ganador del torneo.

La regresión logística es la línea base lineal esencial. Es interpretable (los coeficientes muestran los efectos de las características), rápida de entrenar y funciona bien cuando el límite de decisión es aproximadamente lineal. En el torneo sirve como referencia mínima: si los modelos basados en árboles no logran superarla significativamente, es posible que el conjunto de datos carezca de patrones no lineales complejos que justifiquen el uso de modelos más complejos. Utilice class_weight='balanced' en conjuntos de datos desequilibrados.

Random Forest gestiona de forma natural las relaciones no lineales, las interacciones entre características y los tipos de datos mixtos, sin necesidad de escalar las características. Produce puntuaciones fiables de importancia de las características y es robusto frente a los valores atípicos. En las competiciones suele ser el segundo mejor algoritmo después del gradient boosting y constituye una sólida línea base para los datos tabulares. Establezca n_estimators=200 y class_weight='balanced' para obtener una configuración predeterminada sólida.

XGBoost es el ganador más citado en las competiciones de ML con datos tabulares. Su boosting secuencial corrige los errores residuales en cada paso, lo que produce un rendimiento sólido con datos estructurados. Valores predeterminados clave para una ejecución del torneo: n_estimators=300, learning_rate=0.05, max_depth=6 y scale_pos_weight establecido en la proporción entre la clase negativa y la positiva para gestionar el desequilibrio. Proporcione eval_set para habilitar opcionalmente la detención temprana.

La SVM con un kernel RBF destaca en conjuntos de datos con clases claramente separadas y pocas características irrelevantes. Consume mucha memoria (almacena vectores de soporte) y es lenta en conjuntos de datos grandes (tiempo de entrenamiento de O(n²) a O(n³)), pero puede superar a los modelos basados en árboles en conjuntos de datos pequeños con límites complejos. Estandarice las características antes del entrenamiento: las SVM son muy sensibles a la escala de las características. Utilice probability=True para obtener probabilidades calibradas que permitan evaluar el AUC.

Un perceptrón multicapa (MLP) sencillo con 2 o 3 capas ocultas puede capturar patrones no lineales complejos, pero requiere un escalado y una regularización cuidadosos, y tarda más en entrenarse que los modelos basados en árboles con datos tabulares. Utilícelo cuando los otros cuatro algoritmos alcancen el mismo nivel de rendimiento, lo que sugiere que el límite de decisión requiere un modelado con mayor capacidad. sklearn.neural_network.MLPClassifier resulta práctico para el torneo sin necesidad de configurar PyTorch por completo.

Recopile todas las puntuaciones AUC de la validación cruzada de 5 folds en una tabla ordenada por AUC media. Registre también la desviación estándar: puede ser preferible implementar un modelo con una AUC media ligeramente inferior pero una varianza mucho menor, ya que su rendimiento es más predecible en distintas particiones de datos. Muestre los resultados en un gráfico de barras horizontales para comunicarlos a las partes interesadas.

Una diferencia de 0.002 en el AUC entre dos modelos puede deberse simplemente al ruido de la partición aleatoria de los datos. Utilice una prueba t pareada o la prueba de rangos con signo de Wilcoxon sobre las puntuaciones de cada fold para determinar si la diferencia es estadísticamente significativa. Si el valor p supera 0.05, elija el modelo más sencillo: su menor complejidad facilita la depuración, la explicación y el mantenimiento en producción.

Después de seleccionar al ganador del torneo, evalúelo exactamente una vez con el conjunto de prueba reservado. Esta es la estimación de rendimiento imparcial que comunicará en la tarjeta del modelo. No optimice nunca los hiperparámetros después de consultar los resultados del conjunto de prueba, ya que hacerlo constituye una fuga de datos a través del proceso de evaluación. Si el AUC de prueba es sustancialmente inferior al AUC de la validación cruzada (más de 2 o 3 desviaciones estándar), investigue si existe sobreajuste o un cambio en la distribución entre las particiones de entrenamiento y prueba.

El AUC no es el único criterio. Considere: la interpretabilidad (la regresión logística puede ser obligatoria para cumplir la normativa), el tiempo de entrenamiento (si se realiza un reentrenamiento semanal con 10 millones de filas, la ventaja de velocidad de XGBoost es importante), el consumo de memoria (una SVM que almacene 100 000 vectores de soporte puede superar el presupuesto de implementación) y la equidad (el modelo con mayor AUC puede presentar una peor paridad demográfica). El torneo selecciona el candidato; la preparación para la implementación es una decisión independiente basada en múltiples criterios.

En esta lección ha aprendido que: cada algoritmo debe integrarse en un Pipeline y evaluarse con folds de validación cruzada idénticos sobre el mismo conjunto de entrenamiento; la clasificación del torneo ordena los modelos por AUC media de la validación cruzada y utiliza una prueba de significación pareada para distinguir las diferencias reales del ruido; y el conjunto de prueba se utiliza exactamente una vez con el modelo ganador para producir la estimación honesta de rendimiento de la tarjeta del modelo. A continuación, empaquetaremos, documentaremos y presentaremos el modelo final para su implementación.