Observabilidad y supervisión de sistemas de IA

Un modelo desplegado no está terminado. El tráfico aumenta bruscamente, la latencia se eleva y el mundo cambia, por lo que los datos se alejan de los utilizados durante el entrenamiento. La observabilidad le indica si el sistema funciona correctamente y si el modelo sigue siendo preciso, antes de que los usuarios sufran las consecuencias.

La observabilidad de ML abarca dos capas:

• Operativa: latencia, rendimiento, errores y uso de recursos, como en cualquier servicio
• Del modelo: deriva de datos, distribución de predicciones y precisión a lo largo del tiempo, aspectos específicos de ML

Prometheus es el sistema estándar para recopilar métricas de series temporales. Su servicio expone un endpoint de métricas; Prometheus lo consulta periódicamente y almacena los valores para realizar consultas y configurar alertas.

Registra la latencia de inferencia con un histograma de Prometheus. Los histogramas permiten calcular percentiles, la forma adecuada de resumir la latencia, en lugar de utilizar un promedio engañoso.

Informe de la latencia mediante percentiles. P50 (la mediana) representa la experiencia habitual; P95 es la cola lenta que supera el 5 % de las solicitudes. Vigilar P95 detecta problemas que un promedio oculta, ya que unas pocas solicitudes lentas siguen perjudicando a los usuarios.

Grafana visualiza las métricas de Prometheus en paneles en tiempo real. Un panel de modelo suele mostrar en una sola pantalla la tasa de solicitudes, la tasa de errores, la latencia P50/P95 y la distribución de predicciones para comprobar el estado de un vistazo.

La deriva de datos ocurre cuando la distribución de las entradas en producción se aleja de la distribución de entrenamiento. El modelo se ajustó a patrones antiguos, por lo que, a medida que las entradas cambian, su precisión se degrada silenciosamente aunque no haya cambiado ningún código.

El índice de estabilidad poblacional (PSI) cuantifica la deriva comparando la distribución actual de una característica con la que tenía durante el entrenamiento. Divide ambas distribuciones en intervalos y suma una razón logarítmica ponderada entre ellos.

Umbrales convencionales del PSI:

• PSI < 0.1: no hay una deriva significativa
• 0.1 a 0.2: deriva moderada; debe investigarse
• PSI > 0.2: deriva significativa; probablemente sea necesario reentrenar el modelo

Es habitual generar una alerta cuando el PSI supera 0.2.

La señal de monitorización más valiosa son los resultados reales. Un ciclo de retroalimentación captura las correcciones de los usuarios y las etiquetas de referencia (por ejemplo, si se hizo clic en la recomendación o si la detección de fraude fue correcta) y las incorpora como datos de entrenamiento nuevos.

La detección de deriva y el ciclo de retroalimentación activan conjuntamente el reentrenamiento: cuando el PSI supera el umbral o la precisión con etiquetas nuevas disminuye, el flujo de trabajo vuelve a entrenar el modelo con datos recientes y lo vuelve a implementar. Así, el modelo se mantiene alineado con un mundo cambiante.

Compruebe sus conocimientos sobre observabilidad.

Ha aprendido sobre la observabilidad y la monitorización de sistemas de IA:

• Prometheus recopila métricas; informe de la latencia de inferencia como P50/P95
• Los paneles de Grafana permiten visualizar el estado general de un vistazo
• La deriva de datos se mide con PSI; un PSI > 0.2 indica que se debe reentrenar el modelo
• Un ciclo de retroalimentación convierte las correcciones de los usuarios en datos para el reentrenamiento