Ominaisuuksien erottaminen datasta

Piirteiden erottelulla raakadata muunnetaan koneoppimismallien hyödynnettävissä olevaksi piirrejoukoksi. Tässä oppitunnissa käsitellään piirteiden muodostamisen perusteita ja yleisiä tekniikoita hyödyllisten piirteiden erottelemiseksi datasta.

Piirteiden erottelu yksinkertaistaa raakadataa tunnistamalla analyysin kannalta olennaisimmat ominaisuudet. Se vähentää datan monimutkaisuutta ja parantaa mallin suorituskykyä.

Esimerkki:

• Kuukauden month ja päivän day erottaminen päivämääräsarakkeesta date.
• word count -arvon laskeminen tekstidatasta.

Voitte johtaa päivämääräsarakkeesta uusia piirteitä, kuten vuoden, kuukauden tai päivän, Pandasia käyttämällä.

Esimerkki:

df['Year'] = pd.to_datetime(df['Date']).dt.year

Tekstidatasta voitte erottaa esimerkiksi seuraavia piirteitä:

• Sanamäärä: Sanojen kokonaismäärä.
• Merkkimäärä: Merkkien kokonaismäärä.
• Ainutkertaisten sanojen määrä: Ainutkertaisten sanojen määrä.

Esimerkki:

df['WordCount'] = df['Text'].apply(lambda x: len(x.split()))

Muuntaa kategorisen datan numeeriseen muotoon analyysia varten. Yleisiä tekniikoita ovat esimerkiksi:

• One-hot-koodaus: Luo binaariset sarakkeet jokaiselle kategorialle.
• Luokkakoodaus: Määrittää jokaiselle kategorialle yksilöllisen numeron.

Esimerkki:

from sklearn.preprocessing import OneHotEncoder encoder = OneHotEncoder() encoded = encoder.fit_transform(df[['Category']])

Skaalaus varmistaa, että kaikki piirteet ovat samalla asteikolla, mikä on tärkeää monille koneoppimisalgoritmeille. Tekniikoita ovat esimerkiksi:

• Standardointi: Datan skaalaaminen niin, että keskiarvo on 0 ja keskihajonta 1.
• Min-max-skaalaus: Datan muuntaminen välille [0, 1].

Piirteiden valinnassa mallille valitaan tärkeimmät piirteet. Tekniikoita ovat esimerkiksi:

• Korrelaatioanalyysi: Vahvasti korreloivien piirteiden tunnistaminen.
• Rekursiivinen piirteiden eliminointi (RFE): Vähiten merkityksellisten piirteiden iteratiivinen poistaminen.

Tässä oppitunnissa opitte seuraavat asiat:

• Piirteiden erottelu: Raakadatan muuntaminen hyödyllisiksi piirteiksi.
• Tekniikat: Päivämääräpiirteet, tekstipohjaiset piirteet ja kategorisen datan koodaus.
• Piirteiden skaalaus: Piirteiden saattaminen samalle asteikolle.
• Piirteiden valinta: Olennaisimpien piirteiden tunnistaminen.

Olette suorittaneet datan piirteiden erottelua käsittelevän oppitunnin. Siirtykää seuraavaan kategoriaan perehtyäksenne tarkemmin edistyneempiin tekoälyn käsitteisiin.