Monitoramento do desempenho de modelos em produção
Detecção de desvio nos dados, sinais de degradação do modelo, acionadores de retreinamento e biblioteca evidently.
Monitoramento do desempenho de modelos em produção é uma aula grátis de Learn AI with Python no CoddyKit. Esta é a aula 4 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de Learn AI with Python, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de Learn AI with Python inclui 4 aulas no total.
Por que monitorar em produção?
Um modelo que teve bom desempenho no lançamento pode se degradar silenciosamente à medida que o mundo muda. O monitoramento detecta essa deriva cedo, antes que ela derrube silenciosamente as métricas de negócio, para que você saiba quando retreinar.
Deriva de dados versus deriva de conceito
- Deriva de dados: a distribuição das entradas muda (novo perfil de clientes).
- Deriva de conceito: a relação entre as entradas e o alvo muda (o que prevê o cancelamento muda).
Ambas prejudicam a acurácia; o monitoramento as detecta de maneiras diferentes.
PSI para deriva de dados
O Índice de Estabilidade da População (PSI) compara a distribuição de um atributo agora com uma linha de base. Divida ambos em intervalos e depois some (now% - base%) * ln(now% / base%) entre os intervalos.
Interpretando os valores de PSI
Regras práticas: PSI < 0.1 indica nenhuma mudança significativa, 0.1-0.25 indica mudança moderada (investigue) e > 0.25 indica mudança importante (provavelmente é necessário retreinar). O PSI é calculado por atributo.
import numpy as np
def psi(base, now, bins=10):
edges = np.percentile(base, np.linspace(0, 100, bins + 1))
b_pct = np.histogram(base, edges)[0] / len(base) + 1e-6
n_pct = np.histogram(now, edges)[0] / len(now) + 1e-6
return np.sum((n_pct - b_pct) * np.log(n_pct / b_pct))Teste KS para distribuições
O teste de Kolmogorov-Smirnov (KS) compara duas distribuições contínuas. Um valor de p pequeno significa que a distribuição em produção difere significativamente da distribuição de treinamento, sinalizando deriva.
from scipy.stats import ks_2samp
stat, pvalue = ks_2samp(train_feature, prod_feature)
if pvalue < 0.05:
print("Distribution drift detected")PSI versus KS
- PSI: um único número interpretável, excelente para painéis e limiares.
- KS: um teste de hipótese estatística com um valor de p, mais rigoroso para atributos contínuos.
Muitas equipes apresentam ambos lado a lado.
O que é o Evidently?
Evidently é uma biblioteca de código aberto que automatiza relatórios de deriva e qualidade. Em vez de programar cada métrica manualmente, você reúne verificações predefinidas e obtém um relatório HTML/JSON.
# pip install evidently
from evidently.report import Report
from evidently.metric_preset import DataDriftPresetCriando um relatório com DataDriftPreset
O DataDriftPreset executa um conjunto completo de testes de deriva em todas as colunas, comparando um conjunto de dados de referência (treinamento) com os dados atuais (produção).
report = Report(metrics=[DataDriftPreset()])
report.run(
reference_data=train_df,
current_data=prod_df
)
report.save_html("drift_report.html")Extraindo resultados programaticamente
Exporte o relatório como um dicionário para alimentar a lógica de alertas, permitindo que o monitoramento seja executado sem intervenção em um cronograma.
result = report.as_dict()
drift_share = result["metrics"][0]["result"]["dataset_drift"]
print("Dataset drift flag:", drift_share)Emitindo alertas sobre queda de acurácia
Quando você dispõe de rótulos verdadeiros, acompanhe a acurácia em produção e emita um alerta quando ela cair abaixo de um limiar, o sinal mais direto de que o retreinamento está atrasado.
THRESHOLD = 0.85
if live_accuracy < THRESHOLD:
send_alert(f"Accuracy dropped to {live_accuracy:.2f}")Fechando o ciclo
Um bom monitoramento leva à ação: detectar o desvio -> emitir um alerta -> acionar um fluxo de retreinamento (seu Makefile/registro das lições anteriores) -> implantar a nova versão. Monitoramento sem um plano de resposta é apenas ruído.
Verificação rápida
Teste seus conhecimentos sobre monitoramento.
Recapitulação
Você monitorou modelos em produção: o PSI e o teste KS detectam desvios de dados, o Evidently automatiza relatórios por meio de DataDriftPreset, e você emite um alerta quando a acurácia cai abaixo de um limite e, em seguida, aciona o retreinamento. Isso encerra o curso de MLOps. Próximo curso: Disponibilização de modelos de IA com FastAPI.
Perguntas Frequentes
A aula “Monitoramento do desempenho de modelos em produção” é grátis?
Sim — o texto completo de “Monitoramento do desempenho de modelos em produção” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de Learn AI with Python, atualize para CoddyKit PRO. O curso de Learn AI with Python inclui 4 aulas no total.
O que vou aprender em “Monitoramento do desempenho de modelos em produção”?
Detecção de desvio nos dados, sinais de degradação do modelo, acionadores de retreinamento e biblioteca evidently. Você pratica Learn AI with Python com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar Learn AI with Python?
Nenhuma experiência prévia é necessária. Learn AI with Python no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 4 de 4.
Quanto tempo leva a aula “Monitoramento do desempenho de modelos em produção”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de Learn AI with Python?
Sim. Cada aula de Learn AI with Python inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Acompanhamento de experimentos com MLflow
- Registro e versionamento de modelos
- Criando pipelines reproduzíveis de aprendizado de máquina
- Monitoramento do desempenho de modelos em produção