Проект по кластеризации методом K-средних

В этом проекте мы применим кластеризацию методом K-средних к реальному набору данных: сегментации клиентов. Цель — сгруппировать клиентов на основе характера их расходов.

Обзор набора данных

Набор данных содержит следующие столбцы:

• ID клиента: Уникальный идентификатор каждого клиента.
• Возраст: Возраст клиента.
• Годовой доход: Годовой доход в тысячах долларов.
• Оценка расходов: Оценка, присвоенная на основе поведения клиента и характера его расходов (1–100).

Шаг 1: импорт набора данных и библиотек

Начнём с импорта необходимых библиотек и загрузки набора данных:

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans

# Load dataset
data = pd.read_csv('Mall_Customers.csv')
print(data.head())

Шаг 2: предварительная обработка данных

Мы выберем признаки, важные для кластеризации, и при необходимости нормализуем данные. В этом проекте мы будем использовать Годовой доход и Оценку расходов:

# Select relevant features
X = data[['Annual Income (k$)', 'Spending Score (1-100)']].values
print(X[:5])

Шаг 3: определение оптимального количества кластеров

Мы используем метод локтя, чтобы найти оптимальное количество кластеров, построив график внутрикластерной суммы квадратов (WCSS) для разных значений K:

wcss = []
for i in range(1, 11):
    kmeans = KMeans(n_clusters=i, init='k-means++', random_state=42)
    kmeans.fit(X)
    wcss.append(kmeans.inertia_)

plt.plot(range(1, 11), wcss)
plt.title('Elbow Method')
plt.xlabel('Number of Clusters')
plt.ylabel('WCSS')
plt.show()

Шаг 4: применение кластеризации методом K-средних

На основе метода локтя мы выбираем оптимальное количество кластеров (например, K=5) и выполняем fit модели K-средних:

kmeans = KMeans(n_clusters=5, init='k-means++', random_state=42)
kmeans.fit(X)

# Add cluster labels to the dataset
data['Cluster'] = kmeans.labels_
print(data.head())

Шаг 5: визуализация кластеров

Мы можем построить график кластеров в двумерном пространстве, чтобы увидеть их разделение:

plt.scatter(X[:, 0], X[:, 1], c=kmeans.labels_, cmap='viridis')
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], s=200, c='red', marker='X')
plt.title('Customer Segmentation')
plt.xlabel('Annual Income (k$)')
plt.ylabel('Spending Score (1-100)')
plt.show()

Шаг 6: интерпретация кластеров

Каждый кластер представляет группу клиентов с похожим характером расходов. Например:

• Кластер 1: высокий доход, высокие расходы.
• Кластер 2: низкий доход, низкие расходы.
• Кластер 3: средний доход, высокие расходы.

Проблемы кластеризации реальных данных

Хотя кластеризация — мощный инструмент, при работе с реальными данными возникают такие проблемы, как:

• Наборы данных с большим количеством измерений.
• Зашумлённые или неполные данные.
• Содержательная интерпретация результатов кластеризации.

Итоги и следующие шаги

В этом проекте мы:

• Исследовали реальный набор данных.
• Применили кластеризацию методом K-средних и визуализировали результаты.
• Интерпретировали кластеры, чтобы понять поведение клиентов.

Далее мы изучим методы снижения размерности, такие как PCA и t-SNE.