Promova automaticamente apenas se superar a referência
Condicione a promoção à comparação entre campeão e desafiante.
Promova automaticamente apenas se superar a referência é uma aula grátis de MLOps Academy no CoddyKit. Esta é a aula 3 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de MLOps Academy, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de MLOps Academy inclui 4 aulas no total.
Partes desta aula ainda não foram traduzidas e aparecem em inglês.
Newer Is Not Always Better
A freshly retrained model can be worse than the one in production. Never promote a new model blindly just because it is newer.
Champion vs Challenger
The live model is the champion; the new candidate is the challenger. Promotion is a contest the challenger must win on the metrics.
Define the Baseline
Your baseline is the current champion score on a fixed evaluation set. The challenger has to clearly beat that number to earn promotion.
Evaluate on the Same Data
Score both models on the identical, held-out test set. A fair comparison only counts when nothing else changed between them.
A Promotion Gate
Wrap the decision in a check that returns true only if the challenger wins. This gate compares the two scores directly.
def should_promote(new, baseline):
return new > baselineAdd a Margin
Tiny gains can be noise, so require a real margin. Demanding at least a 1% lift avoids churning the production model for nothing.
def should_promote(new, baseline):
return new >= baseline + 0.01Pick the Right Metric
Compare on the metric that matters for your task, like F1 or AUC, not just raw accuracy. The wrong metric promotes the wrong model.
Wire It Into the Pipeline
Put the gate right after evaluation in your DAG. If the challenger loses, the pipeline stops and the champion stays live.
Promote in the Registry
Winning means moving the model stage to Production in the registry. This transition is the one action that changes what users get served.
client.transition_model_version_stage(
name="fraud", version=7, stage="Production")Log the Decision
Record both scores and the outcome every run. That audit trail explains later why a model was or was not promoted.
Guard Against Bad Data
A challenger can look amazing because the test set leaked or shrank. Sanity-check the evaluation before trusting any promotion.
Quick Check
When should the new challenger model be auto-promoted?
Recap
You gated promotion on results: compare challenger to champion on the same data, require a margin, then transition the winner in the registry. ✅
Perguntas Frequentes
A aula “Promova automaticamente apenas se superar a referência” é grátis?
Sim — o texto completo de “Promova automaticamente apenas se superar a referência” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de MLOps Academy, atualize para CoddyKit PRO. O curso de MLOps Academy inclui 4 aulas no total.
O que vou aprender em “Promova automaticamente apenas se superar a referência”?
Condicione a promoção à comparação entre campeão e desafiante. Você pratica MLOps Academy com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar MLOps Academy?
Nenhuma experiência prévia é necessária. MLOps Academy no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 3 de 4.
Quanto tempo leva a aula “Promova automaticamente apenas se superar a referência”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de MLOps Academy?
Sim. Cada aula de MLOps Academy inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Novo treinamento programado versus baseado em gatilhos
- Orquestre o novo treinamento com Airflow
- Promova automaticamente apenas se superar a referência
- Mantenha uma pessoa no circuito