Valutazione delle prestazioni del modello

Valutare le prestazioni di un modello di machine learning è fondamentale per garantirne l'efficacia. Per i problemi di classificazione usiamo metriche come accuratezza, precisione, recall e punteggio F1.

Accuratezza

L'accuratezza misura il rapporto tra le istanze previste correttamente e il numero totale di istanze:

Accuracy = (True Positives + True Negatives) / Total Instances

Sebbene sia utile, l'accuratezza da sola potrebbe non essere sufficiente per i dataset sbilanciati.

Precisione

La precisione si concentra sulla correttezza delle previsioni positive:

Precision = True Positives / (True Positives + False Positives)

Un'elevata precisione significa avere meno falsi positivi.

Recall

Il recall misura la capacità del modello di identificare correttamente tutte le istanze positive:

Recall = True Positives / (True Positives + False Negatives)

Un recall elevato significa avere meno falsi negativi.

Punteggio F1

Il punteggio F1 è la media armonica di precisione e recall:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Bilancia precisione e recall ed è particolarmente utile per i dataset sbilanciati.

Usare scikit-learn per le metriche

Scikit-learn fornisce funzioni per calcolare queste metriche:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Matrice di confusione

Una matrice di confusione offre una visione dettagliata delle prestazioni del modello:

• Veri positivi (TP): previsioni positive corrette.
• Falsi positivi (FP): previsioni positive errate.
• Veri negativi (TN): previsioni negative corrette.
• Falsi negativi (FN): previsioni negative errate.

Scegliere la metrica giusta

La scelta della metrica dipende dal problema:

• Accuratezza: funziona bene con dataset bilanciati.
• Precisione: è importante quando i falsi positivi hanno costi elevati.
• Recall: è fondamentale quando i falsi negativi hanno costi elevati.
• Punteggio F1: metrica equilibrata per i dataset sbilanciati.

Riepilogo e prossimi passi

In questa lezione avete trattato:

• Le metriche per valutare le prestazioni del modello: accuratezza, precisione, recall e punteggio F1.
• Come calcolare queste metriche usando scikit-learn.
• Come interpretare una matrice di confusione.

Successivamente, esplorerete metodi di apprendimento non supervisionato come il clustering.