Valutare il primo modello

Addestrare un modello è solo metà del lavoro. Ora deve porsi la domanda fondamentale: quanto bene riesce davvero a prevedere? 🧐

Ogni estimator offre un metodo score che restituisce un singolo numero riassuntivo delle prestazioni. Una chiamata, un responso rapido.

Passi sia le feature sia le risposte reali, così score può confrontare le proprie previsioni con ciò che è realmente accaduto.

Per i regressori, score restituisce R quadrato: la frazione della variabilità del target che il modello riesce a spiegare.

Un valore di R quadrato pari a 1,0 indica un adattamento perfetto, mentre 0,0 non è migliore della previsione della media. Più è alto, meglio è; può anche essere negativo.

Calcoli sempre lo score su dati che il modello non ha mai visto. Un ottimo score di addestramento insieme a uno scarso score di test è il segnale classico dell'overfitting.

Per maggiori dettagli, il modulo metrics offre numerose misure. Può confrontare direttamente i valori reali e quelli previsti usando una funzione scelta.

L'errore assoluto medio indica lo scarto tipico nelle stesse unità del target. È davvero facile da spiegare a chiunque.

Per i classificatori, il metodo score restituisce l'accuratezza: la proporzione di etichette previste correttamente. Stesso nome del metodo, significato diverso.

Una singola metrica non racconta mai tutta la storia. La abbini a grafici e a diverse misure prima di fidarsi del modello.

Uno score ha significato solo se confrontato con una baseline, ad esempio prevedendo sempre la media. Superi questa semplice ipotesi per dimostrare il valore reale.

Usi score per ottenere rapidamente l'R quadrato, ricorra a metriche come MAE per maggiori dettagli e testi sempre i dati non visti rispetto a una baseline. 🏁