Valutazione delle prestazioni del modello

Valutare le prestazioni di un modello di apprendimento automatico è fondamentale per assicurarsi che sia efficace. Per i problemi di classificazione utilizziamo metriche come accuratezza, precisione, recall e punteggio F1.

Accuratezza

L'accuratezza misura il rapporto tra le istanze previste correttamente e il numero totale di istanze:

Accuracy = (True Positives + True Negatives) / Total Instances

Sebbene sia utile, l'accuratezza da sola potrebbe non essere sufficiente per i dataset sbilanciati.

Precisione

La precisione si concentra sulla correttezza delle previsioni positive:

Precision = True Positives / (True Positives + False Positives)

Una precisione elevata significa avere meno falsi positivi.

Recall

Il recall misura la capacità del modello di identificare correttamente tutte le istanze positive:

Recall = True Positives / (True Positives + False Negatives)

Un recall elevato significa avere meno falsi negativi.

Punteggio F1

Il punteggio F1 è la media armonica di precisione e recall:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Bilancia precisione e recall ed è particolarmente utile per i dataset sbilanciati.

Utilizzare scikit-learn per le metriche

Scikit-learn mette a disposizione funzioni per calcolare queste metriche:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Matrice di confusione

Una matrice di confusione offre una visione dettagliata delle prestazioni del modello:

• Veri positivi (TP): Previsioni positive corrette.
• Falsi positivi (FP): Previsioni positive errate.
• Veri negativi (TN): Previsioni negative corrette.
• Falsi negativi (FN): Previsioni negative errate.

Scegliere la metrica giusta

La scelta della metrica dipende dal problema:

• Accuratezza: Funziona bene con dataset bilanciati.
• Precisione: È importante quando i falsi positivi hanno un costo elevato.
• Richiamo: È fondamentale quando i falsi negativi hanno un costo elevato.
• Punteggio F1: Metrica equilibrata per dataset sbilanciati.

Riepilogo e prossimi passaggi

In questa lezione abbiamo trattato:

• Le metriche per valutare le prestazioni del modello: accuratezza, precisione, richiamo e punteggio F1.
• Come calcolare queste metriche usando scikit-learn.
• Come interpretare una matrice di confusione.

Successivamente esploreremo metodi di apprendimento non supervisionato come il clustering.