Perché l'accuratezza può ingannare

L'accuratezza è semplicemente la percentuale di predizioni corrette del modello sul totale delle predizioni. È semplice, ma può trarLa silenziosamente in inganno. 🎯

Un solo numero sembra rassicurante, ma l'accuratezza nasconde quali tipi di errori commette. Un punteggio elevato può mascherare un modello che fallisce proprio dove è più importante.

Il pericolo emerge con dati sbilanciati, in cui una classe è molto più frequente dell'altra. In questo caso l'accuratezza smette di raccontare la storia reale.

Supponiamo che il 95% delle email non sia spam. Un modello poco diligente che etichetta tutto come non spam raggiunge il 95% di accuratezza, pur non individuando alcuno spam.

Questo trucco, che predice sempre la classe maggioritaria, è la baseline della classe maggioritaria. Se il modello la supera appena, la sua accuratezza è priva di sostanza.

scikit-learn fornisce direttamente l'accuratezza, così può confrontare il modello con quella baseline poco diligente in una sola riga.

Non individuare una frode e segnalare un'operazione sicura hanno costi molto diversi. L'accuratezza tratta ogni errore come se fosse altrettanto poco costoso, ma raramente è così.

Un esame medico che non rileva una malattia reale può avere un'accuratezza elevata ed essere comunque pericoloso. Il costo sta negli errori che l'accuratezza nasconde facendo una media.

Con classi bilanciate e costi degli errori uguali, l'accuratezza è un riepilogo delle prestazioni perfettamente affidabile e facile da leggere.

Prima di fidarsi di un punteggio, controlli il bilanciamento delle classi. Conoscere la distribuzione delle classi indica se l'accuratezza è attendibile.

L'accuratezza è un punto di partenza, non un verdetto. Una valutazione reale richiede metriche che mostrino dove e come il modello fallisce.

L'accuratezza conta le predizioni corrette, ma con dati sbilanciati nasconde i fallimenti. Controlli sempre prima il bilanciamento delle classi e i costi degli errori. ✅