Проект по кластеризации K-Means

В этом проекте мы применим кластеризацию K-Means к набору данных из реального мира: для сегментации клиентов. Цель — сгруппировать клиентов на основе их моделей расходов.

Обзор набора данных

Набор данных содержит следующие столбцы:

• Идентификатор клиента: уникальный идентификатор каждого клиента.
• Возраст: возраст клиента.
• Годовой доход: годовой доход в тысячах долларов.
• Оценка расходов: оценка, присвоенная на основе поведения клиента и особенностей его расходов (1–100).

Шаг 1: импорт набора данных и библиотек

Начнём с импорта необходимых библиотек и загрузки набора данных:

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans

# Load dataset
data = pd.read_csv('Mall_Customers.csv')
print(data.head())

Шаг 2: Предварительная обработка данных

Мы выберем релевантные признаки для кластеризации и при необходимости нормализуем данные. В этом проекте мы будем использовать Годовой доход и Оценку расходов:

# Select relevant features
X = data[['Annual Income (k$)', 'Spending Score (1-100)']].values
print(X[:5])

Шаг 3: определение оптимального количества кластеров

Мы используем метод локтя, чтобы найти оптимальное количество кластеров, построив график суммы квадратов расстояний внутри кластеров (WCSS) для разных значений K:

wcss = []
for i in range(1, 11):
    kmeans = KMeans(n_clusters=i, init='k-means++', random_state=42)
    kmeans.fit(X)
    wcss.append(kmeans.inertia_)

plt.plot(range(1, 11), wcss)
plt.title('Elbow Method')
plt.xlabel('Number of Clusters')
plt.ylabel('WCSS')
plt.show()

Шаг 4: Применение кластеризации K-Means

На основе метода локтя мы выбираем оптимальное число кластеров (например, K=5) и выполняем fit модели K-Means:

kmeans = KMeans(n_clusters=5, init='k-means++', random_state=42)
kmeans.fit(X)

# Add cluster labels to the dataset
data['Cluster'] = kmeans.labels_
print(data.head())

Шаг 5: визуализация кластеров

Мы можем отобразить кластеры в двумерном пространстве, чтобы увидеть, насколько хорошо они разделены:

plt.scatter(X[:, 0], X[:, 1], c=kmeans.labels_, cmap='viridis')
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], s=200, c='red', marker='X')
plt.title('Customer Segmentation')
plt.xlabel('Annual Income (k$)')
plt.ylabel('Spending Score (1-100)')
plt.show()

Шаг 6: Интерпретация кластеров

Каждый кластер представляет группу клиентов со схожими моделями расходов. Например:

• Кластер 1: высокий доход, высокие расходы.
• Кластер 2: низкий доход, низкие расходы.
• Кластер 3: средний доход, высокие расходы.

Проблемы кластеризации в реальном мире

Несмотря на широкие возможности кластеризации, её применение в реальных условиях связано с такими проблемами, как:

• Многомерные наборы данных.
• Зашумлённые или неполные данные.
• Содержательная интерпретация результатов кластеризации.

Итоги и следующие шаги

В этом проекте мы:

• Исследовали набор данных из реального мира.
• Применили кластеризацию методом K-Means и визуализировали результаты.
• Интерпретировали кластеры, чтобы понять поведение клиентов.

Далее мы изучим методы снижения размерности, такие как PCA и t-SNE.