Scegliere le metriche che contano
Scelga i KPI aziendali, non soltanto l'accuratezza offline.
Scegliere le metriche che contano è una lezione MLOps Academy gratuita su CoddyKit. Questa è la lezione 2 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento MLOps Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso MLOps Academy include 4 lezioni in totale.
Parti di questa lezione non sono ancora state tradotte e vengono mostrate in inglese.
Accuracy Is Not the Goal
A challenger can win on offline accuracy yet lose money. The metric that decides your A/B test should be the business outcome you actually care about. 💡
Offline vs Online Metrics
Offline metrics like F1 or AUC come from a static test set. Online metrics come from live user behavior, and only those tell you the real production impact.
Pick One Primary Metric
Choose a single primary metric up front, like conversion rate or revenue per user. Deciding after you see the data is how teams fool themselves.
A Good Primary Metric
A strong primary metric is tied to value, moves with the model, and is measurable per user. Click-through, purchases, and watch time are classic examples.
Guardrail Metrics
Track guardrail metrics too: things that must not get worse, like latency, error rate, or churn. A win that breaks a guardrail is not a real win.
Computing the Lift
The lift is how much the challenger improves over the champion on your primary metric, usually as a percent change.
def lift(challenger_rate, champion_rate):
return (challenger_rate - champion_rate) / champion_rate * 100Beware Vanity Metrics
A vanity metric looks great but drives no value, like raw page views. Pretty numbers that do not connect to the business can mislead a whole team.
Watch for Proxy Gaps
Clicks are an easy proxy for satisfaction, but users can click then bounce. Make sure your proxy truly tracks the outcome you really want.
Segment Before You Trust
An average can hide trouble. A model may lift new users but hurt loyal ones, so check the metric across key segments, not just the whole.
Mind the Delay
Some outcomes, like a refund or a renewal, arrive days later. Pick a metric whose signal lands within your test window, or you will decide too early.
Write It Down First
Lock your primary metric, guardrails, and success threshold before the test starts. A written plan stops you from cherry-picking a flattering number later. ✅
Quick Check
Let us see which metric should decide the test.
Recap
Choose one primary business metric before the test, guard it with guardrails, and avoid vanity proxies. Segment your results and respect delayed signals. 🎯
Domande Frequenti
La lezione «Scegliere le metriche che contano» è gratuita?
Sì — il testo completo di «Scegliere le metriche che contano» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso MLOps Academy, passa a CoddyKit PRO. Il corso MLOps Academy include 4 lezioni in totale.
Cosa imparerò in «Scegliere le metriche che contano»?
Scelga i KPI aziendali, non soltanto l'accuratezza offline. Eserciti MLOps Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare MLOps Academy?
Non è richiesta alcuna esperienza precedente. MLOps Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 2 di 4.
Quanto tempo richiede la lezione «Scegliere le metriche che contano»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione MLOps Academy?
Sì. Ogni lezione MLOps Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Dividere il traffico tra versioni del modello
- Scegliere le metriche che contano
- Interpretare la significatività senza autoingannarsi
- Promuovere o ripristinare il modello vincitore