Metriche di distanza: euclidea, Manhattan e Minkowski

KNN definisce i vicini più prossimi usando una metrica di distanza — una funzione matematica che quantifica la distanza tra due punti nello spazio delle feature. La scelta della metrica determina direttamente quali vicini vengono selezionati e, di conseguenza, le predizioni del modello. Metr iche diverse implicano ipotesi diverse sulla geometria dei dati. La distanza euclidea presuppone che lo spostamento diagonale sia valido; la distanza Manhattan consente solo spostamenti paralleli agli assi; la similarità coseno ignora la magnitudine e si concentra sulla direzione. Nessuna metrica è universalmente migliore: la scelta corretta dipende dalla struttura del problema.

La distanza euclidea (chiamata anche distanza L2 o norma L2) misura la distanza in linea retta tra due punti. In 2D segue il teorema di Pitagora: sqrt(dx^2 + dy^2). In n dimensioni: sqrt(sum of squared differences). È la metrica più intuitiva ed è quella predefinita in KNeighborsClassifier. La distanza euclidea funziona bene quando le feature sono continue, hanno una scala simile e la nozione di prossimità diagonale ha senso dal punto di vista fisico, ad esempio nel caso di coordinate geografiche o letture di sensori.

La distanza Manhattan (norma L1, distanza a blocchi o distanza del taxi) somma le differenze assolute lungo ciascun asse: sum(|a_i - b_i|). Il nome deriva dalla disposizione a griglia delle strade di Manhattan: è possibile spostarsi solo lungo i blocchi, non in diagonale. La distanza Manhattan è più robusta rispetto agli outlier di quella euclidea perché utilizza valori assoluti anziché quadrati. È spesso preferita per i dati ad alta dimensionalità e per le feature che rappresentano conteggi, valutazioni o altre quantità per le quali lo spostamento diagonale non ha un significato fisico.

La distanza di Minkowski è una generalizzazione che unifica la distanza euclidea e quella Manhattan in un'unica formula: (sum(|a_i - b_i|^p))^(1/p). Quando p=1, equivale alla distanza Manhattan. Quando p=2, equivale alla distanza euclidea. Quando p → infinity, tende alla distanza di Chebyshev (la massima differenza lungo un singolo asse). In scikit-learn, KNeighborsClassifier utilizza Minkowski con p=2 per impostazione predefinita. Può esplorare altri valori di p come iperparametro, anche se nella pratica i valori di p diversi da 1 e 2 vengono usati raramente.

Scikit-learn consente di specificare la metrica di distanza tramite il parametro metric. Tra le opzioni testuali comuni figurano 'euclidean', 'manhattan', 'minkowski' (con l'ulteriore parametro p), 'chebyshev' e 'cosine'. È anche possibile passare una funzione Python richiamabile come metrica personalizzata. Quando utilizza metriche non standard, imposti algorithm='ball_tree' o algorithm='kd_tree' per una ricerca efficiente dei vicini, oppure algorithm='brute' per una ricerca esaustiva garantita corretta ma più lenta.

Confrontando empiricamente la distanza euclidea e quella Manhattan, la differenza emerge più chiaramente in presenza di feature con outlier. La distanza euclidea eleva al quadrato le differenze, facendo sì che una deviazione elevata domini la distanza totale. La distanza Manhattan somma i valori assoluti, trattando tutte le deviazioni in modo proporzionale. Nella pratica, per i dati delle immagini o le misurazioni fisiche continue, spesso prevale la distanza euclidea. Per i dati sparsi ad alta dimensionalità (testo, valutazioni utente-elemento, conteggi), la distanza Manhattan tende a essere più stabile perché non amplifica l'effetto di una singola dimensione.

La similarità coseno misura l'angolo tra due vettori anziché la loro magnitudine. Due documenti sono considerati simili se puntano nella stessa direzione nello spazio delle caratteristiche, indipendentemente dalla lunghezza del documento. Distanza coseno = 1 - similarità coseno. Questa è la metrica preferita per la classificazione del testo con vettori TF-IDF, dove due documenti possono avere lunghezze molto diverse ma usare lo stesso vocabolario in proporzioni simili. Si noti che la distanza coseno non è una vera metrica (viola la disuguaglianza triangolare), ma funziona bene nella pratica per KNN sul testo.

La distanza di Hamming conta il numero di posizioni in cui due vettori differiscono. È ideale per le caratteristiche binarie o categoriche, per le quali il concetto di differenza di magnitudine non è significativo. Ad esempio, confrontando due cartelle cliniche codificate come vettori binari dei sintomi (1=presente, 0=assente), la distanza di Hamming conta quanti sintomi differiscono. In scikit-learn, passi metric='hamming' a KNeighborsClassifier. La distanza di Hamming viene usata anche per confrontare sequenze di DNA, rilevare errori nei codici binari e analizzare le impronte genetiche.

All'aumentare del numero di caratteristiche (dimensioni), tutti i metodi basati sulla distanza risentono della maledizione della dimensionalità: in dimensioni elevate, la distanza tra due punti casuali qualsiasi converge allo stesso valore, facendo apparire tutti i punti equidistanti. Quando le distanze diventano indistinguibili, il concetto di "vicino più prossimo" perde significato. Per questo KNN in genere offre le prestazioni migliori su dataset con meno di 20-50 caratteristiche e per questo, in contesti ad alta dimensionalità, prima di KNN si applica spesso la riduzione della dimensionalità (PCA, selezione delle caratteristiche).

Ecco una guida per scegliere la metrica della distanza: usi Euclidea (L2) per caratteristiche continue su scale simili (dopo StandardScaler); usi Manhattan (L1) per dati sparsi o ad alta dimensionalità e quando è necessaria robustezza rispetto agli outlier; usi Coseno per vettori di testo/TF-IDF, quando la magnitudine non dovrebbe contare; usi Hamming per caratteristiche binarie o categoriche; usi Minkowski con p personalizzato solo se dispone di conoscenze del dominio che suggeriscono una geometria specifica. Nella pratica, provi prima Euclidea e Manhattan usando la convalida incrociata e scelga quella con i risultati migliori.

Può includere il parametro metric in GridSearchCV per trovare simultaneamente la combinazione migliore di k e metrica della distanza. In questo modo evita di provare manualmente le diverse metriche per tentativi. Quando cerca tra metriche che richiedono parametri aggiuntivi (come p di Minkowski), includa anche questi parametri nella griglia. La metrica migliore dipende dai dati e spesso non è evidente basandosi solo sulle conoscenze del dominio: lasciare che sia la convalida incrociata a decidere è sia rigoroso sia pratico.

In questa lezione ha imparato: in che modo le distanze euclidea, Manhattan e Minkowski differiscono matematicamente e quando è opportuno usare ciascuna di esse, la similarità coseno per i dati testuali e la distanza di Hamming per le caratteristiche binarie, nonché la maledizione della dimensionalità, che fa convergere tutte le distanze negli spazi ad alta dimensionalità. Nella prossima lezione esploreremo KNN per i problemi di regressione e i suoi limiti di scalabilità sui dataset di grandi dimensioni.