Supervisión del rendimiento de modelos en producción
Detección de drift de datos, señales de degradación del modelo, activadores de reentrenamiento y biblioteca evidently.
Supervisión del rendimiento de modelos en producción es una lección gratuita de Learn AI with Python en CoddyKit. Esta es la lección 4 de 4. Puedes leer la lección completa abajo gratuitamente — luego la practicas en el navegador con un editor de código integrado y un tutor de IA 24/7. Forma parte de la ruta de aprendizaje de Learn AI with Python, y tu progreso se sincroniza en la web y la app de CoddyKit. El curso de Learn AI with Python incluye 4 lecciones en total.
¿Por qué monitorizar en producción?
Un modelo que funcionó bien al iniciarse puede degradarse silenciosamente a medida que cambia el mundo. La monitorización detecta este drift pronto, antes de que perjudique silenciosamente las métricas de negocio, para que sepa cuándo volver a entrenar.
Data drift frente a concept drift
- Data drift: cambia la distribución de las entradas (nueva composición de clientes).
- Concept drift: cambia la relación entre las entradas y el objetivo (cambia lo que predice la cancelación).
Ambos reducen la precisión; la monitorización los detecta de formas diferentes.
PSI para el data drift
El Population Stability Index (PSI) compara la distribución actual de una característica con una línea base. Agrupe ambas distribuciones y, después, sume (now% - base%) * ln(now% / base%) en todos los grupos.
Interpretación de los valores de PSI
Reglas prácticas: PSI < 0.1 indica que no hay un cambio significativo, 0.1-0.25 indica un cambio moderado (investigue) y > 0.25 indica un cambio importante (probablemente sea necesario volver a entrenar). PSI se calcula para cada característica.
import numpy as np
def psi(base, now, bins=10):
edges = np.percentile(base, np.linspace(0, 100, bins + 1))
b_pct = np.histogram(base, edges)[0] / len(base) + 1e-6
n_pct = np.histogram(now, edges)[0] / len(now) + 1e-6
return np.sum((n_pct - b_pct) * np.log(n_pct / b_pct))Prueba de KS para distribuciones
La prueba de Kolmogorov-Smirnov (KS) compara dos distribuciones continuas. Un p-valor pequeño significa que la distribución de producción difiere significativamente de la distribución de entrenamiento, lo que indica drift.
from scipy.stats import ks_2samp
stat, pvalue = ks_2samp(train_feature, prod_feature)
if pvalue < 0.05:
print("Distribution drift detected")PSI frente a KS
- PSI: un único número interpretable, ideal para paneles y umbrales.
- KS: una prueba estadística de hipótesis con un p-valor, más rigurosa para características continuas.
Muchos equipos muestran ambas métricas una al lado de la otra.
¿Qué es Evidently?
Evidently es una biblioteca de código abierto que automatiza los informes de drift y calidad. En lugar de programar cada métrica manualmente, se ensamblan comprobaciones predefinidas y se obtiene un informe HTML/JSON.
# pip install evidently
from evidently.report import Report
from evidently.metric_preset import DataDriftPresetCreación de un informe DataDriftPreset
DataDriftPreset ejecuta un conjunto completo de pruebas de drift en todas las columnas, comparando un conjunto de datos de referencia (entrenamiento) con los datos actuales (producción).
report = Report(metrics=[DataDriftPreset()])
report.run(
reference_data=train_df,
current_data=prod_df
)
report.save_html("drift_report.html")Extracción de resultados mediante programación
Exporte el informe como un dict para alimentar la lógica de alertas, de modo que la monitorización se ejecute automáticamente según una programación.
result = report.as_dict()
drift_share = result["metrics"][0]["result"]["dataset_drift"]
print("Dataset drift flag:", drift_share)Alertas por descenso de precisión
Cuando disponga de etiquetas reales, supervise la precisión en vivo y active una alerta cuando caiga por debajo de un umbral; esta es la señal más directa de que es necesario volver a entrenar.
THRESHOLD = 0.85
if live_accuracy < THRESHOLD:
send_alert(f"Accuracy dropped to {live_accuracy:.2f}")Cerrar el ciclo
Una buena monitorización debe estar conectada con la acción: detectar una desviación -> enviar una alerta -> activar un pipeline de reentrenamiento (su Makefile/registro de lecciones anteriores) -> desplegar la nueva versión. La monitorización sin un plan de respuesta no es más que ruido.
Comprobación rápida
Compruebe sus conocimientos sobre monitorización.
Resumen
Monitorizó modelos en producción: PSI y la prueba de KS detectan la desviación de datos, Evidently automatiza los informes mediante DataDriftPreset, y se envían alertas cuando la precisión cae por debajo de un umbral; después, se activa el reentrenamiento. Con esto termina el curso de MLOps. Siguiente curso: Servir modelos de IA con FastAPI.
Preguntas frecuentes
¿La lección «Supervisión del rendimiento de modelos en producción» es gratis?
Sí — el texto completo de «Supervisión del rendimiento de modelos en producción» es gratis para leer aquí en la web. Para practicarla de forma interactiva (editor de código integrado y tutor de IA 24/7) y desbloquear el resto del curso de Learn AI with Python, actualiza a CoddyKit PRO. El curso de Learn AI with Python incluye 4 lecciones en total.
¿Qué aprenderé en «Supervisión del rendimiento de modelos en producción»?
Detección de drift de datos, señales de degradación del modelo, activadores de reentrenamiento y biblioteca evidently. Practicas Learn AI with Python con código real que ejecutas directamente en el navegador, y un tutor de IA 24/7 responde tus preguntas mientras trabajas en la lección.
¿Necesito experiencia previa para empezar Learn AI with Python?
No se requiere experiencia previa. Learn AI with Python en CoddyKit está estructurado para principiantes hasta estudiantes avanzados, así que puedes empezar aquí o desde el inicio y avanzar a tu ritmo. Esta es la lección 4 de 4.
¿Cuánto tiempo toma la lección «Supervisión del rendimiento de modelos en producción»?
La mayoría de las lecciones de CoddyKit toman alrededor de 5–10 minutos. Cada una es compacta e interactiva, así que avanzas constantemente y retomas exactamente por donde dejaste en la web y la app.
¿Puedo escribir y ejecutar código en esta lección de Learn AI with Python?
Sí. Cada lección de Learn AI with Python incluye un editor de código integrado, así que escribes y ejecutas código real directamente en tu navegador y obtienes retroalimentación instantánea de IA — sin configuración local necesaria.
Todas las lecciones de este curso
- Seguimiento de experimentos con MLflow
- Registro y versionado de modelos
- Construcción de pipelines de ML reproducibles
- Supervisión del rendimiento de modelos en producción