Tillämpa dimensionsreduktion

I den här lektionen tillämpar vi principalkomponentanalys (PCA) för att minska en datamängds dimensionalitet. Det förenklar datamängden samtidigt som viktig information bevaras.

Vi använder Iris-datamängden, som innehåller mätningar av olika blomarter:

• Egenskaper: Foderbladens längd, foderbladens bredd, kronbladens längd och kronbladens bredd.
• Målvariabel: Art (Setosa, Versicolor, Virginica).

Vi börjar med att importera de nödvändiga biblioteken och läsa in datamängden:

import pandas as pd
from sklearn.datasets import load_iris

# Load Iris dataset
data = load_iris()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target
print(X.head())

PCA är känsligt för datas skala, så vi standardiserar den med hjälp av StandardScaler:

from sklearn.preprocessing import StandardScaler

# Standardize the data
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

Vi tillämpar PCA för att reducera datamängden till två principalkomponenter:

from sklearn.decomposition import PCA

# Apply PCA
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)
print(f"Explained Variance Ratio: {pca.explained_variance_ratio_}")

Vi kan visualisera den transformerade datamängden i ett tvådimensionellt utrymme för att se hur arterna grupperas:

import matplotlib.pyplot as plt

# Scatter plot of PCA results
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap='viridis')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.title('PCA Results')
plt.colorbar(label='Species')
plt.show()

PCA-diagrammet visar hur data är fördelade i de reducerade dimensionerna. Punkter som tillhör samma art tenderar att grupperas tillsammans, vilket tyder på effektiv klustring.

PCA har flera fördelar:

• Minskar datas dimensionalitet, vilket gör den lättare att visualisera.
• Tar bort brus och överflödiga egenskaper.
• Förbättrar den beräkningsmässiga effektiviteten för stora datamängder.

Några begränsningar med PCA är:

• Förlust av tolkbarhet för transformerade egenskaper.
• Känslighet för egenskapernas skala.
• Kan missa komplexa, icke-linjära samband i data.

I den här lektionen:

• Tillämpade vi PCA på Iris-datamängden för dimensionsreduktion.
• Visualiserade vi resultaten och såg hur arterna grupperades i ett tvådimensionellt utrymme.
• Diskuterade vi fördelarna med och utmaningarna för PCA.

Härnäst utforskar vi avancerade begrepp inom deep learning, med början i artificiella neurala nätverk.