Klasteryzacja K-Means

K-Means to jeden z najpopularniejszych algorytmów klasteryzacji. Dzieli dane na z góry określoną liczbę klastrów (K), minimalizując odległości wewnątrz klastrów.

Algorytm działa iteracyjnie, aby znaleźć najlepsze przypisania do klastrów i centroidy.

Jak działa K-Means

Algorytm K-Means działa w następujących krokach:

1. Zainicjalizuj K losowych centroidów.
2. Przypisz każdy punkt danych do najbliższego centroidu.
3. Przelicz centroidy jako średnią wszystkich punktów należących do klastra.
4. Powtarzaj kroki 2 i 3, aż centroidy ustabilizują się lub zostanie osiągnięta maksymalna liczba iteracji.

Wybór liczby klastrów

Wartość K jest kluczowym parametrem. Do wyboru wartości K często stosuje się:

• Metodę łokcia: Wykreśl sumę kwadratów odległości wewnątrz klastrów (WCSS) dla różnych wartości K i znajdź „punkt łokcia”.
• Współczynnik sylwetki: Mierzy stopień separacji klastrów.

Przykładowy zbiór danych dla K-Means

Rozważmy zbiór danych z punktami rozmieszczonymi w przestrzeni 2D. Każdy punkt ma:

• X: Współrzędną na osi poziomej.
• Y: Współrzędną na osi pionowej.

K-Means pogrupuje te punkty w klastry na podstawie ich wzajemnej bliskości.

Implementowanie K-Means w języku Python

Do zaimplementowania algorytmu użyjemy klasy KMeans z biblioteki scikit-learn:

from sklearn.cluster import KMeans
import numpy as np

# Example dataset
X = np.array([[1, 2], [1, 4], [1, 0], [4, 2], [4, 4], [4, 0]])

# K-Means model
kmeans = KMeans(n_clusters=2, random_state=0)
kmeans.fit(X)

print("Cluster Centers:", kmeans.cluster_centers_)
print("Labels:", kmeans.labels_)

Wizualizowanie klastrów

Możemy zwizualizować klastry, przedstawiając punkty danych i centroidy:

import matplotlib.pyplot as plt

# Scatter plot of data points
plt.scatter(X[:, 0], X[:, 1], c=kmeans.labels_, cmap='viridis')

# Plot cluster centers
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], s=200, c='red', marker='X')
plt.title('K-Means Clustering')
plt.show()

Zalety K-Means

K-Means ma kilka zalet:

• Jest prosty i łatwy do zaimplementowania.
• Jest wydajny w przypadku dużych zbiorów danych.
• Dobrze działa, gdy klastry są wyraźnie zdefiniowane.

Ograniczenia K-Means

Do ograniczeń K-Means należą:

• Wrażliwość na początkowe rozmieszczenie centroidów.
• Trudności w obsłudze klastrów niesferycznych.
• Wrażliwość na wartości odstające i zaszumione dane.

Podsumowanie i kolejne kroki

W tej lekcji omówiliśmy:

• Jak działa klasteryzacja K-Means.
• Wybór liczby klastrów za pomocą metod takich jak metoda łokcia.
• Implementowanie i wizualizowanie algorytmu K-Means w Pythonie.

Następnie zastosujemy algorytm K-Means do rzeczywistego zbioru danych, aby zdobyć praktyczne doświadczenie.