t-SNE: Bevara grannskap för visualisering

PCA projicerar data linjärt och bevarar den globala variansen, men kan misslyckas med att visa lokala klusterstrukturer. t-SNE (t-distributed Stochastic Neighbour Embedding) är en icke-linjär teknik för dimensionsreduktion som är särskilt utformad för visualisering i två och tre dimensioner. Den prioriterar att bevara lokala grannskap: punkter som ligger nära varandra i ett högdimensionellt rum bör också ligga nära varandra i 2D-diagrammet.

t-SNE definierar en sannolikhetsfördelning över punktpar i ett högdimensionellt rum: närliggande punkter har hög likhet. Därefter definierar algoritmen en liknande fördelning i den lågdimensionella inbäddningen. Algoritmen minimerar KL-divergensen mellan de två fördelningarna med hjälp av gradientnedstigning och flyttar punkterna i 2D tills grannskapsstrukturen motsvarar strukturen i hög dimension.

Perplexity är t-SNE:s viktigaste hyperparameter. Den styr ungefär hur många grannar varje punkt tar hänsyn till när likhetsfördelningen i hög dimension skapas – vanligtvis mellan 5 och 50. Låg perplexity fokuserar på mycket lokal struktur (många små kluster), medan hög perplexity fångar mer global struktur (bredare och mer utspridda kluster). Samma datamängd kan se mycket olika ut med olika perplexity-värden.

Använd sklearn.manifold.TSNE. Viktiga parametrar är n_components (nästan alltid 2), perplexity, n_iter (standardvärde 1000) och random_state. t-SNE är beräkningsmässigt kostsamt – O(n² log n) – så reducera först datamängden med PCA för stora indata (till exempel PCA till 50 dimensioner och därefter t-SNE till 2D).

Rita de tvådimensionella t-SNE-koordinaterna med klassfärger för att synliggöra klusterstrukturen. För MNIST-siffror med lämplig perplexity ser ni vanligtvis väl separerade sifferkluster, där siffror som liknar varandra (till exempel 3 och 8) placeras nära varandra. Detta bekräftar att t-SNE fångar semantiskt meningsfulla grupperingar.

Det är viktigt att prova flera perplexity-värden och jämföra diagrammen. En perplexity som är för låg skapar många små, frånkopplade fläckar även inom samma verkliga kluster. En perplexity som är för hög suddar ihop klustren. En god praxis är att testa perplexity i [5, 15, 30, 50] och välja den inbäddning där den kända klusterstrukturen framträder tydligast.

En viktig varning: avstånd mellan kluster i t-SNE kan inte tolkas. Att ett kluster verkar ligga långt från ett annat betyder inte att de är globalt avlägsna; algoritmen optimerar bevarandet av lokala grannskap, inte globala avstånd. Ni kan inte jämföra klusterstorlekar eller avstånd mellan kluster i olika körningar eller med olika perplexity-inställningar. Använd endast t-SNE för utforskning, inte för kvantitativ analys.

Varje t-SNE-körning med ett annat random_state ger en annan layout – inbäddningen kan rotera, spegla eller arrangera om klustren. Ange alltid random_state för reproducerbarhet. t-SNE har dessutom ingen transform-metod för punkter utanför urvalet: ni måste träna om modellen på hela datamängden varje gång, vilket gör den olämplig som förbehandlingssteg i en produktionsmodell.

UMAP (Uniform Manifold Approximation and Projection) är en nyare teknik som är snabbare än t-SNE, bevarar både lokal och mer global struktur och stöder transform för nya punkter. Den ingår inte i scikit-learn, men installeras med pip install umap-learn. För stora datamängder eller produktionspipelines föredras UMAP vanligtvis framför t-SNE.

Använd PCA för förbehandling före modellering, komprimering, avvikelsedetektering med rekonstruktionsfel eller när ni behöver en deterministisk och reversibel transformering. Använd t-SNE för att utforska klusterstrukturer i högdimensionella data, skapa visualiseringar för presentationer eller bekräfta att en datamängd innehåller meningsfulla grupperingar innan ni använder en klustrings- eller klassificeringsalgoritm.

Här är den rekommenderade pipelinen för t-SNE på en valfri högdimensionell datamängd: skala data, reducera med PCA till cirka 50 dimensioner, tillämpa sedan t-SNE till 2D och rita resultatet med klassetiketter.

I den här lektionen har ni lärt er att t-SNE bevarar lokala grannskap genom att minimera KL-divergensen mellan likhetsfördelningar i hög och låg dimension, att perplexity styr det effektiva antalet grannar och bör justeras mellan 5 och 50, samt att avstånd mellan kluster i t-SNE saknar kvantitativ betydelse – använd därför tekniken endast för utforskning. Härnäst bäddar vi in PCA i en scikit-learn Pipeline som förbehandlingssteg för klassificerare.