Dimensioiden pienentäminen käytännössä

Tässä oppitunnissa sovellamme pääkomponenttianalyysiä (PCA) aineiston dimensioiden vähentämiseen. Näin aineistoa voidaan yksinkertaistaa säilyttäen samalla keskeinen tieto.

Käytämme Iris-aineistoa, joka sisältää kukkalajien mittaustietoja:

• Piirteet: Verholehden pituus, verholehden leveys, terälehden pituus ja terälehden leveys.
• Kohde: Laji (Setosa, Versicolor, Virginica).

Aloitamme tuomalla tarvittavat kirjastot ja lataamalla aineiston:

import pandas as pd
from sklearn.datasets import load_iris

# Load Iris dataset
data = load_iris()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target
print(X.head())

PCA on herkkä datan mittakaavalle, joten vakioimme datan käyttämällä StandardScaler-luokkaa:

from sklearn.preprocessing import StandardScaler

# Standardize the data
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

Sovellamme PCA:ta pienentääksemme aineiston kahteen pääkomponenttiin:

from sklearn.decomposition import PCA

# Apply PCA
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)
print(f"Explained Variance Ratio: {pca.explained_variance_ratio_}")

Voimme visualisoida muunnetun aineiston kaksiulotteisessa avaruudessa tarkastellaksemme, miten lajit ryhmittyvät:

import matplotlib.pyplot as plt

# Scatter plot of PCA results
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap='viridis')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.title('PCA Results')
plt.colorbar(label='Species')
plt.show()

PCA-kuvaaja näyttää, miten data jakautuu pienennettyjen dimensioiden avaruudessa. Saman lajin pisteet ryhmittyvät yleensä yhteen, mikä osoittaa klusteroinnin toimivan tehokkaasti.

PCA tarjoaa useita etuja:

• Se vähentää datan dimensioita, mikä helpottaa visualisointia.
• Se poistaa kohinaa ja päällekkäisiä piirteitä.
• Se tehostaa laskentaa suurilla aineistoilla.

PCA:n rajoituksia ovat esimerkiksi:

• Muunnettujen piirteiden tulkittavuuden heikkeneminen.
• Herkkyys piirteiden skaalaukselle.
• Se ei välttämättä pysty kuvaamaan datan monimutkaisia epälineaarisia suhteita.

Tässä oppitunnissa:

• Sovelsimme PCA:ta Iris-aineistoon dimensioiden vähentämiseksi.
• Visualisoimme tulokset ja havaitsimme lajien ryhmittymisen kaksiulotteisessa avaruudessa.
• Käsittelimme PCAn etuja ja haasteita.

Seuraavaksi tutustumme edistyneisiin syväoppimisen käsitteisiin aloittaen keinotekoisista neuroverkoista.