Puuttuvien tietojen käsittely

Puuttuvat tiedot ovat yleisiä aineistoissa, ja ne voivat vaikuttaa analyysiin sekä mallin suorituskykyyn. Tässä oppitunnissa tutustumme tekniikoihin, joilla puuttuvat arvot voidaan tunnistaa ja käsitellä tehokkaasti.

Puuttuvat tiedot voi tunnistaa Pythonissa Pandasin avulla. isnull()-metodi tunnistaa aineiston puuttuvat arvot.

Esimerkki:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

isnull()-metodin voi yhdistää sum()-metodiin kunkin sarakkeen puuttuvien arvojen laskemiseksi.

Esimerkki:

print(df.isnull().sum())

Puuttuvia tietoja sisältäviä rivejä tai sarakkeita voi poistaa dropna()-metodilla.

Esimerkki:

df_cleaned = df.dropna()

Puuttuvat arvot voidaan korvata tietyillä arvoilla, kuten keskiarvolla tai mediaanilla, käyttämällä fillna()-metodia.

Esimerkki:

df['Age'] = df['Age'].fillna(df['Age'].mean())

Puuttuvat arvot voidaan täyttää käyttämällä niitä edeltäviä tai seuraavia arvoja method='ffill'- tai method='bfill'-parametrilla.

Esimerkki:

df['Age'] = df['Age'].fillna(method='ffill')

Huomioikaa aineisto ja analyysin tavoitteet puuttuvia tietoja käsitellessänne:

• Käyttäkää dropna()-metodia riveille, joista puuttuu paljon arvoja.
• Käyttäkää numeerisiin tietoihin fillna()-metodia yhdessä keskiarvon tai mediaanin kanssa.
• Käyttäkää täyttämistä eteen- tai taaksepäin aikasarjadataan.

Tässä oppitunnissa opitte:

• Tunnistamaan puuttuvat arvot isnull()-metodilla.
• Laskemaan puuttuvat arvot sum()-metodilla.
• Käsittelemään puuttuvia tietoja poistamalla tai täyttämällä arvoja.
• Valitsemaan oikean tekniikan aineiston perusteella.

Olette suorittaneet puuttuvien tietojen käsittelyä käsittelevän oppitunnin. Siirtykää seuraavalle oppitunnille oppiaksenne datan normalisointitekniikoista.