Datan normalisointi

Datan normalisointi varmistaa, että kaikki aineiston piirteet ovat samankaltaisessa mittakaavassa. Tämä on ratkaisevan tärkeää gradient descent -algoritmin ja etäisyyteen perustuvien mallien kaltaisille algoritmeille. Tässä oppitunnissa tutustumme standardointiin ja skaalausmenetelmiin.

Normalisointi varmistaa, että kaikki piirteet vaikuttavat malliin yhtä paljon. Ilman normalisointia suuremman mittakaavan piirteet voivat hallita oppimisprosessia.

Esimerkki:

• Ikä (0–100) ja tulot (0–100 000) kannattaa skaalata vertailukelpoisille väleille.

Standardointi muuntaa datan siten, että sen keskiarvo on 0 ja keskihajonta 1. Se lasketaan seuraavasti:

z = (x - mean) / std_dev

Standardointi sopii erityisesti logistisen regression ja SVM:n kaltaisille algoritmeille.

Min–max-skaalaus muuntaa datan kiinteälle välille, yleensä välille [0, 1]. Se lasketaan seuraavasti:

x_scaled = (x - min) / (max - min)

Tätä tekniikkaa käytetään, kun datan arvot on rajattava tietylle välille.

Käyttäkää moduulin sklearn.preprocessing StandardScaler-luokkaa datan standardointiin.

Esimerkki:

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() data_scaled = scaler.fit_transform(data)

Käyttäkää moduulin sklearn.preprocessing MinMaxScaler-luokkaa min-max-skaalauksen tekemiseen.

Esimerkki:

from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() data_scaled = scaler.fit_transform(data)

Huomioikaa seuraavat seikat tekniikkaa valitessanne:

• Standardointi: Käyttäkää, kun datassa on poikkeavia havaintoja.
• Min-max-skaalaus: Käyttäkää, kun piirteet on rajattava tietylle välille.

Tässä oppitunnissa opitte seuraavat asiat:

• Standardointi: Datan skaalaaminen niin, että keskiarvo on 0 ja keskihajonta 1.
• Min-max-skaalaus: Datan muuntaminen tietylle kiinteälle välille.
• StandardScaler- ja MinMaxScaler-luokkien käyttäminen Pythonissa.

Olette suorittaneet datan normalisointia käsittelevän oppitunnin. Siirtykää seuraavalle oppitunnille, jossa opitte datan yhdistämisestä Pythonissa.