Scegliere k: metodo del gomito e curve di validazione

Il valore di k è l'iperparametro più importante in KNN. Un valore di k troppo piccolo (ad esempio, k=1) rende il modello estremamente sensibile al rumore: ogni punto di addestramento forma la propria regione di predizione, facendo sì che il modello memorizzi il rumore invece di apprendere i pattern. Un valore di k troppo grande rende eccessivamente uniforme il confine decisionale e può fondere classi realmente distinte. Trovare il valore corretto di k è un problema di compromesso bias-varianza: k piccolo = bias basso, varianza alta; k grande = bias alto, varianza bassa. Il metodo del gomito e le curve di validazione aiutano a identificare empiricamente il valore ottimale di k.

L'approccio più semplice consiste nell'addestrare KNN per un intervallo di valori di k, valutare ogni modello su un set di validazione e scegliere il valore di k con l'accuratezza di validazione più elevata. Scikit-learn rende questa procedura immediata: esegua un ciclo sui valori di k da 1 fino a un massimo stabilito, addestrando e valutando ogni modello. Valuti sempre il modello su un set di validazione separato o utilizzi la convalida incrociata — valutare il modello sul set di addestramento selezionerebbe sempre k=1 (poiché con k=1 KNN predice i punti di addestramento con un'accuratezza del 100%, memorizzandoli).

Visualizzare l'accuratezza di validazione in funzione di k rivela due andamenti importanti. Con valori bassi di k, la curva è irregolare e presenta un'elevata varianza (il modello reagisce ai singoli punti di addestramento). All'aumentare di k, l'accuratezza generalmente migliora fino a raggiungere un picco, per poi diminuire lentamente quando il modello diventa troppo uniforme. Il valore ottimale di k corrisponde al picco della curva di validazione. Questo andamento non è sempre evidente con una singola suddivisione dei dati, perciò la convalida incrociata fornisce una stima più affidabile calcolando la media su più suddivisioni.

Una singola suddivisione di validazione può essere condizionata dai campioni finiti casualmente nel set di validazione. La convalida incrociata calcola la media su k suddivisioni, fornendo una stima più stabile. È possibile chiamare cross_val_score per ogni valore di k. L'accuratezza media mostra l'andamento, mentre la deviazione standard tra i fold indica l'affidabilità. Scelga il valore di k con la maggiore accuratezza media ottenuta tramite convalida incrociata; se più valori di k sono vicini, preferisca quello più grande per ottenere predizioni più uniformi e generalizzabili.

Il metodo del gomito è una tecnica visiva per individuare il punto ottimale in cui il miglioramento dell'accuratezza diventa marginale. Tracci l'accuratezza (o l'errore) di validazione in funzione di k: in genere la curva mostra un miglioramento marcato per i valori piccoli di k, per poi stabilizzarsi. Il gomito — il punto in cui la curva passa da una crescita ripida a un andamento piatto — è spesso il valore ottimale di k. L'intuizione alla base è quella dei rendimenti decrescenti: aggiungere altri vicini oltre questo punto non migliora significativamente l'accuratezza, ma aumenta il bias. Il gomito non è sempre evidente, perciò per la selezione finale si preferiscono metodi quantitativi come la convalida incrociata.

Scikit-learn mette a disposizione validation_curve(), una funzione di utilità che esplora un intervallo di iperparametri e restituisce i punteggi di addestramento e di validazione per ogni valore. È più semplice di un ciclo manuale perché gestisce internamente la convalida incrociata. L'argomento param_name utilizza la notazione con doppio underscore per i parametri delle pipeline (ad esempio, knn__n_neighbors). Tracciare insieme le curve di addestramento e di validazione mostra se le prestazioni ridotte sono dovute a underfitting (entrambe basse), overfitting (addestramento alto, validazione bassa) o a una buona generalizzazione (entrambe alte).

La curva di validazione illustra direttamente il compromesso bias-varianza. Per valori piccoli di k: l'accuratezza di addestramento si avvicina al 100% (bias basso, il modello si adatta perfettamente ai dati di addestramento), mentre l'accuratezza di validazione è inferiore (varianza alta, il modello è troppo sensibile ai singoli punti). Per valori grandi di k: l'accuratezza di addestramento diminuisce (il modello presenta underfitting) e diminuisce anche quella di validazione (bias alto). Il valore ottimale di k si trova nel punto di equilibrio in cui il divario tra l'accuratezza di addestramento e quella di validazione è ridotto ed entrambe raggiungono valori elevati: questo è il punto ottimale per la generalizzazione.

Per la classificazione binaria, preferisca sempre valori dispari di k per evitare i pareggi. Con k=4 e due classi, si possono ottenere 2 voti per ciascuna classe: in tal caso, il criterio di spareggio determina il risultato, che può essere arbitrario. Usando k=3 o k=5, con due classi i pareggi sono impossibili. Per i problemi multiclasse con C classi, per lo stesso motivo k non dovrebbe essere un multiplo di C. È un dettaglio piccolo ma importante nella pratica quando i valori di k vicini all'ottimo presentano prestazioni simili.

GridSearchCV automatizza la selezione di k valutando ogni valore candidato tramite convalida incrociata e restituendo il migliore. Lo combini con una pipeline di scalatura e passi a param_grid la chiave con doppio underscore. GridSearchCV riaddestra inoltre il modello migliore sull'intero set di addestramento, quindi grid.best_estimator_ è immediatamente pronto per l'uso in produzione dopo l'addestramento. Questo è l'approccio consigliato quando la selezione di k rientra in un'ottimizzazione più ampia degli iperparametri.

Quando più valori di k producono punteggi di validazione simili, preferisca il valore di k più grande per ottenere predizioni più uniformi e robuste, meno sensibili ai singoli punti rumorosi. Esamini la deviazione standard dei punteggi di convalida incrociata: se un valore di k più piccolo presenta una media maggiore ma anche una deviazione standard più alta, quello più grande potrebbe risultare effettivamente più affidabile in produzione. Il modello finale deve essere riaddestrato sull'intero set di addestramento (non solo sui fold di addestramento della convalida incrociata) usando il valore di k selezionato e valutato una sola volta sul set di test separato.

Tre errori comuni da evitare: (1) valutare i dati di addestramento — k=1 otterrà sempre un punteggio del 100%, facendo apparire questa scelta come ottimale; utilizzi sempre dati separati o sottoposti a convalida incrociata. (2) Non scalare le feature prima di scegliere k — il valore ottimale di k dipende dalla geometria delle distanze, che cambia con la scalatura; includa sempre lo scaler nella pipeline prima della ricerca degli iperparametri. (3) Scegliere k indipendentemente dalle dimensioni del dataset — una regola empirica consiste nel partire da un valore di k vicino a sqrt(N), dove N è la dimensione del set di addestramento, e poi perfezionarlo tramite convalida incrociata.

In questa lezione ha imparato: come un valore piccolo di k causi overfitting e un valore grande di k causi underfitting, come utilizzare la convalida incrociata e validation_curve per esplorare i valori di k e trovare quello ottimale e perché i valori dispari di k evitino i pareggi nella classificazione binaria. Nella prossima lezione esploreremo diverse metriche di distanza — euclidea, Manhattan e Minkowski — e vedremo come scegliere tra loro.