Välja K: Armbågsmetoden och silhuettpoäng

K-Means kräver att ni anger k — antalet kluster — innan träningen. För få kluster innebär att olika grupper slås ihop; för många innebär att naturliga grupper delas upp på ett konstgjort sätt. Det finns inget universellt korrekt k, men två diagnostiska verktyg — armbågsmetoden och siluettpoängen — ger välgrundad vägledning.

När ni ökar k minskar inertia alltid, eftersom punkterna tilldelas närmare centroider. Vid k=n (ett kluster per punkt) är inertia noll. Det innebär att ni inte bara kan minimera inertia — ni måste hitta den punkt där ytterligare kluster inte längre ger meningsfulla minskningar. Den punkten med avtagande nytta är armbågen.

Rita inertia på y-axeln mot k på x-axeln. Kurvan sjunker vanligtvis brant för de första k-värdena och planar sedan ut. Armbågen — böjen där minskningstakten avtar kraftigt — är en uppskattning av det verkliga antalet kluster. Om det verkliga k är 3 är minskningen från k=1 till k=3 stor, medan minskningen från k=3 till k=4 är mycket mindre.

Armbågsmetoden fungerar bra när klustren är tydligt åtskilda, men verkliga data ger ofta en jämn kurva utan någon tydlig böj. I sådana fall är armbågen tvetydig och olika personer kan välja olika k. Då ger siluettpoängen ett mer objektivt och matematiskt välgrundat alternativ.

För varje punkt i beräknar ni två värden: a(i) = medelavståndet till andra punkter i samma kluster (sammanhållning), och b(i) = medelavståndet till det närmaste andra klustret (separation). Siluettvärdet för punkt i är s(i) = (b(i) - a(i)) / max(a(i), b(i)). Värdena sträcker sig från −1 (fel kluster) via 0 (på gränsen) till +1 (tätt och välseparerat kluster).

sklearn.metrics.silhouette_score returnerar den genomsnittliga siluettpoängen för alla punkter. En poäng över 0.5 indikerar vanligtvis en rimlig klustring; över 0.7 är starkt. Eftersom siluettpoängen inte kan beräknas för k=1 (inget andra kluster finns), testar ni k från 2 till ett valt maximum och väljer det k som har högst medelpoäng.

Ett siluettdiagram visar siluettkoefficienten för varje enskild punkt, sorterad efter kluster och stapelbredd. Breda och jämna staplar visar att alla punkter är välplacerade. Tunna staplar eller punkter med negativa poäng visar felaktigt tilldelade avvikare. scikit-learns silhouette_samples returnerar poäng för varje punkt som ni kan visualisera på detta sätt.

I praktiken bör ni använda båda metoderna tillsammans. Om armbågen antyder k=4 och siluettpoängen också är högst vid k=4 har ni starka, samstämmiga belägg. När resultaten skiljer sig åt — till exempel armbåge vid k=3 men siluettmaximum vid k=5 — bör ni undersöka siluettdiagrammet för varje kandidatvärde på k och använda domänkunskap för att fatta det slutliga beslutet.

Gap-statistik jämför den observerade inertian med den förväntade inertian enligt en nollreferensfördelning (data som samplats likformigt i funktionsrymden). Välj det minsta k där gap(k) >= gap(k+1) - stddev. Metoden är statistiskt mer rigorös än armbågsmetoden men beräkningsmässigt kostsam, eftersom den kräver att många slumpmässiga referensdatamängder genereras.

Börja med domänkunskap — om ni vet att det finns 5 produktkategorier börjar ni med k=5. Använd armbågen som en snabb visuell rimlighetskontroll. Bekräfta med siluettpoängen för objektivitet. Utvärdera resultatet i nästa steg — för affärsanvändning bör ni kontrollera om segmenten går att agera på och tolka. Det numeriskt optimala k är inte alltid den mest användbara affärssegmenteringen.

Här är en kompakt pipeline som kör båda diagnostikmetoderna sida vid sida och ger er en sammanfattningstabell som hjälper er att välja k effektivt.

I den här lektionen lärde ni er att: armbågsmetoden ritar inertia mot k och letar efter böjen där förbättringen avtar, siluettpoängen sträcker sig från -1 till +1 och mäter både sammanhållning och separation, och en kombination av båda metoderna och domänkunskap ger det mest tillförlitliga valet av k. Härnäst utforskar vi DBSCAN — en densitetsbaserad algoritm som hittar kluster med godtycklig form och hanterar brus.