Piirteiden muodostaminen ja valinta

Piirteiden muodostaminen ja valinta ovat keskeisiä vaiheita tehokkaiden koneoppimismallien rakentamisessa. Näissä prosesseissa luodaan uusia piirteitä ja valitaan tärkeimmät piirteet mallin suorituskyvyn parantamiseksi.

Tässä oppitunnissa opitte piirteiden muodostamisen ja valinnan tekniikoita ennustetarkkuuden parantamiseksi.

Piirteiden muodostamisessa raakadatasta luodaan uusia piirteitä koneoppimismallien tehostamiseksi. Esimerkkejä:

• Aikaan perustuvien piirteiden, kuten päivän, kuukauden tai tunnin, poimiminen aikaleimoista.
• Useiden piirteiden yhdistäminen uudeksi piirteeksi.
• Numeeristen piirteiden skaalaaminen niiden vaihteluvälin yhtenäistämiseksi.

Luodaan olemassa olevien tietojen perusteella uusia piirteitä:

# Example: Creating new features
import pandas as pd

data = {'Timestamp': ['2025-01-01 12:00:00', '2025-01-02 15:30:00']}
df = pd.DataFrame(data)
df['Hour'] = pd.to_datetime(df['Timestamp']).dt.hour
df['Day'] = pd.to_datetime(df['Timestamp']).dt.day
print(df)

Skaalaus varmistaa, että kaikki numeeriset piirteet ovat samalla asteikolla, mikä parantaa mallin suorituskykyä:

# Example: Scaling features
from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
values = [[10], [20], [30]]
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Piirteiden valinnassa mallille valitaan tärkeimmät piirteet. Yleisiä tekniikoita ovat:

• Suodatinmenetelmät: Piirteiden valitseminen tilastollisten mittareiden, kuten korrelaation, perusteella.
• Wrapper-menetelmät: Algoritmien, kuten Recursive Feature Elimination (RFE), käyttäminen.
• Upotetut menetelmät: Piirteiden valitseminen mallin koulutuksen aikana, esimerkiksi Lasso-regressiossa.

Vahvasti korreloivat piirteet voivat olla päällekkäisiä. Voitte laskea korrelaatiot Pandasilla:

# Example: Correlation-based feature selection
import pandas as pd

data = {'Feature1': [1, 2, 3], 'Feature2': [2, 4, 6], 'Feature3': [1, 1, 1]}
df = pd.DataFrame(data)
print(df.corr())

RFE on wrapper-menetelmä, joka poistaa vähitellen vähiten tärkeät piirteet:

# Example: RFE
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = LogisticRegression()
rfe = RFE(model, n_features_to_select=2)
rfe.fit(X, y)
print("Selected Features:", rfe.support_)

Puupohjaiset mallit, kuten Random Forests, tuottavat piirteiden tärkeyspisteitä:

# Example: Feature importance
from sklearn.ensemble import RandomForestClassifier

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = RandomForestClassifier()
model.fit(X, y)
print("Feature Importances:", model.feature_importances_)

Vältettäviä virheitä:

• Liian monien piirteiden luominen, mikä voi johtaa ylisovittamiseen.
• Skaalauksen tarpeen sivuuttaminen etäisyyteen perustuvissa algoritmeissa.
• Vahvasti korreloivien piirteiden käyttäminen, mikä aiheuttaa päällekkäisyyttä.

Tässä oppitunnissa opitte:

• Piirteiden muodostamisen ja valinnan merkityksen koneoppimisessa.
• Tekniikoita uusien piirteiden luomiseen ja numeeristen piirteiden skaalaamiseen.
• Kuinka olennaiset piirteet valitaan esimerkiksi RFE:n ja puupohjaisten mallien avulla.
• Yleiset virheet, joita piirteiden muodostamisen aikana kannattaa välttää.

Hienoa työtä! Siirrytään seuraavaan aiheeseen.