0Pricing
Python Academy · Lezione

Valutazione dei modelli e cross-validation

Valuti i modelli con accuracy, F1, ROC-AUC e CV k-fold.

Valutazione dei modelli e cross-validation è una lezione Python Academy gratuita su CoddyKit. Questa è la lezione 4 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento Python Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso Python Academy include 4 lezioni in totale.

Suddivisione in train, validation e test

Utilizzi una suddivisione in tre parti: train per l'addestramento, validation per la regolazione degli hyperparameter e test per riportare le prestazioni finali. Non utilizzi mai il set di test durante lo sviluppo.

from sklearn.model_selection import train_test_split
import numpy as np

X = np.random.rand(1000, 10)
y = (X[:,0] > 0.5).astype(int)

X_tr, X_rest, y_tr, y_rest = train_test_split(X, y, test_size=0.3)
X_val, X_te, y_val, y_te = train_test_split(X_rest, y_rest, test_size=0.5)

Punteggio di accuratezza

accuracy_score è la frazione di previsioni corrette. Lo utilizzi con classi bilanciate; per dati sbilanciati, preferisca F1 o AUC.

from sklearn.metrics import accuracy_score
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

X, y = make_classification(random_state=0)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
model = LogisticRegression().fit(X_tr, y_tr)
print("Accuracy:", accuracy_score(y_te, model.predict(X_te)))

Precision, recall e F1

Per classi sbilanciate: precision = TP/(TP+FP), recall = TP/(TP+FN), F1 = media armonica di precision e recall.

from sklearn.metrics import precision_score, recall_score, f1_score, classification_report

# Use classification_report for a full summary:
print(classification_report(y_te, model.predict(X_te)))
# shows precision, recall, f1 for each class

Matrice di confusione

Una matrice di confusione mostra veri positivi, falsi positivi, veri negativi e falsi negativi.

from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
import matplotlib.pyplot as plt

cm = confusion_matrix(y_te, model.predict(X_te))
print(cm)
# [[TN FP]
#  [FN TP]]

Curva ROC e AUC

roc_auc_score misura l'area sotto la curva ROC. AUC = 1.0 indica una previsione perfetta; 0.5 indica una previsione casuale.

from sklearn.metrics import roc_auc_score, roc_curve

y_prob = model.predict_proba(X_te)[:,1]
print("AUC:", roc_auc_score(y_te, y_prob))

fpr, tpr, thresholds = roc_curve(y_te, y_prob)
# plot fpr vs tpr for the full ROC curve

Metriche di regressione

Utilizzi mean_squared_error (MSE), root_mean_squared_error (RMSE) e r2_score per le attività di regressione.

from sklearn.metrics import mean_squared_error, r2_score

y_pred = regression_model.predict(X_te)
mse = mean_squared_error(y_te, y_pred)
print("RMSE:", mse**0.5)
print("R²:", r2_score(y_te, y_pred))

Convalida incrociata k-fold

cross_val_score divide i dati in k fold, addestra il modello su k-1 fold, lo valuta su 1 fold e ripete la procedura k volte. È più robusta di una singola suddivisione.

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification

X, y = make_classification(random_state=0)
scores = cross_val_score(LogisticRegression(), X, y, cv=10, scoring="accuracy")
print(f"{scores.mean():.3f} ± {scores.std():.3f}")

StratifiedKFold

Utilizzi StratifiedKFold per garantire che ogni fold abbia la stessa distribuzione delle classi: è fondamentale per i dataset sbilanciati.

from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification

X, y = make_classification(weights=[0.9,0.1], random_state=0)
cv = StratifiedKFold(n_splits=5)
scores = cross_val_score(LogisticRegression(), X, y, cv=cv, scoring="f1")
print("Stratified F1:", scores.mean())

Compromesso bias-varianza

Bias elevato = underfitting (modello troppo semplice). Varianza elevata = overfitting (modello troppo complesso). La convalida incrociata rivela quale problema si presenta.

# Underfitting: low train score AND low val score
# → increase model complexity, add features

# Overfitting: high train score, low val score
# → regularise, reduce complexity, get more data

from sklearn.model_selection import validation_curve
import numpy as np

train_sc, val_sc = validation_curve(DecisionTreeClassifier(), X, y, param_name="max_depth", param_range=range(1,10))

Convalida incrociata annidata

Per regolare gli hyperparameter e valutare il modello senza distorsioni, utilizzi la CV annidata: il ciclo interno esegue la regolazione, quello esterno la valutazione.

from sklearn.model_selection import cross_val_score, GridSearchCV
from sklearn.svm import SVC
from sklearn.datasets import make_classification

X, y = make_classification(random_state=0)
gs = GridSearchCV(SVC(), {"C":[0.1,1,10]}, cv=5)
outer_scores = cross_val_score(gs, X, y, cv=5)
print("Nested CV accuracy:", outer_scores.mean())

Calibrazione

Le stime di probabilità di un classificatore potrebbero non essere calibrate correttamente. Utilizzi CalibratedClassifierCV per ottenere stime di probabilità migliori.

from sklearn.calibration import CalibratedClassifierCV
from sklearn.svm import SVC
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

X, y = make_classification(random_state=0)
X_tr, X_te, y_tr, y_te = train_test_split(X, y)

cal = CalibratedClassifierCV(SVC(), cv=5).fit(X_tr, y_tr)
print(cal.predict_proba(X_te[:3]))

Verifica rapida

Perché si preferisce la convalida incrociata a una singola suddivisione train/test per valutare i modelli?

Riepilogo

Utilizzi l'accuratezza per i problemi bilanciati e F1/AUC per quelli sbilanciati. Valuti il modello con cross_val_score e k-fold, utilizzi StratifiedKFold per i dati sbilanciati e ricorra alla CV annidata quando regola gli hyperparameter, così da ottenere una stima finale non distorta. Non esamini mai il set di test durante lo sviluppo.

Domande Frequenti

La lezione «Valutazione dei modelli e cross-validation» è gratuita?

Sì — il testo completo di «Valutazione dei modelli e cross-validation» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso Python Academy, passa a CoddyKit PRO. Il corso Python Academy include 4 lezioni in totale.

Cosa imparerò in «Valutazione dei modelli e cross-validation»?

Valuti i modelli con accuracy, F1, ROC-AUC e CV k-fold. Eserciti Python Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.

Ho bisogno di esperienza per iniziare Python Academy?

Non è richiesta alcuna esperienza precedente. Python Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 4 di 4.

Quanto tempo richiede la lezione «Valutazione dei modelli e cross-validation»?

La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.

Posso scrivere ed eseguire codice in questa lezione Python Academy?

Sì. Ogni lezione Python Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.

Tutte le lezioni di questo corso

  1. L'API di scikit-learn: fit, transform, predict
  2. Modelli lineari: regressione e classificazione
  3. Modelli basati su alberi: alberi decisionali e random forest
  4. Valutazione dei modelli e cross-validation
← Torna a Python Academy