Datan puhdistus ja esikäsittely

Datan puhdistus ja esikäsittely

Raakadata on usein epäsiistiä, ja se on puhdistettava ja esikäsiteltävä ennen analysointia. Nämä vaiheet ovat ratkaisevan tärkeitä analyysin laadun ja tarkkuuden varmistamiseksi.

Tässä oppitunnissa opitte tekniikoita puuttuvan datan käsittelyyn, kaksoiskappaleiden poistamiseen ja datan esikäsittelyyn analyysia varten.

Datan puhdistuksessa tunnistetaan data-aineiston virheet ja korjataan ne. Yleisiä tehtäviä ovat:

• Puuttuvien arvojen käsittely.
• Kaksoiskappaleiden poistaminen.
• Muotojen yhdenmukaistaminen.

Dataa voi puuttua monista eri syistä. Voitte käsitellä puuttuvaa dataa seuraavasti:

• Täyttäkää puuttuvat arvot oletusarvolla tai keskiarvolla/ mediaanilla.
• Poistakaa rivit tai sarakkeet, joissa on liikaa puuttuvia arvoja.

# Example: Handling missing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 30]}
df = pd.DataFrame(data)
df['Age'].fillna(df['Age'].mean(), inplace=True)
print(df)

Kaksoiskappaleet voivat vääristää analyysia. Poistakaa kaksoiskappaleet Pandas-kirjaston avulla:

# Example: Removing duplicates
data = {'Name': ['Alice', 'Bob', 'Alice'], 'Age': [25, 30, 25]}
df = pd.DataFrame(data)
df = df.drop_duplicates()
print(df)

Datan yhdenmukaistaminen varmistaa yhtenäisyyden. Voitte esimerkiksi yhdenmukaistaa päivämäärämuodot tai tekstin kirjainkoon:

# Example: Standardizing text case
data = {'Name': ['Alice', 'BOB', 'alice']}
df = pd.DataFrame(data)
df['Name'] = df['Name'].str.capitalize()
print(df)

Muunnokset, kuten skaalaus ja koodaus, ovat osa esikäsittelyä:

• Skaalaus: Numeeristen arvojen yhdenmukaistaminen.
• Koodaus: Kategorisen datan muuntaminen numeeriseen muotoon.

# Example: Encoding categorical data
from sklearn.preprocessing import LabelEncoder

data = {'Category': ['A', 'B', 'A']}
df = pd.DataFrame(data)
encoder = LabelEncoder()
df['Category'] = encoder.fit_transform(df['Category'])
print(df)

Skaalauksella varmistetaan, että numeerinen data on samalla asteikolla, mikä on olennaista koneoppimisalgoritmeille:

# Example: Scaling data
from sklearn.preprocessing import StandardScaler

values = [[10], [20], [30]]
scaler = StandardScaler()
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Validointi varmistaa, että data täyttää laatuvaatimukset. Tarkistakaa esimerkiksi poikkeavat havainnot tai virheelliset arvot:

# Example: Validating data
import numpy as np

data = [10, 20, 1000]  # 1000 might be an outlier
mean = np.mean(data)
std_dev = np.std(data)
outliers = [x for x in data if abs(x - mean) > 2 * std_dev]
print("Outliers:", outliers)

Välttäkää seuraavia virheitä:

• Puuttuvien tietojen huomiotta jättäminen, mikä johtaa epätarkkaan analyysiin.
• Muotojen yhdenmukaistamatta jättäminen, mikä aiheuttaa epäjohdonmukaisuuksia.
• Validoinnin laiminlyönti, mikä johtaa virheisiin myöhemmissä tehtävissä.

Tässä oppitunnissa opitte:

• Miten puuttuvia tietoja käsitellään ja kaksoiskappaleet poistetaan.
• Miten data yhdenmukaistetaan, muunnetaan ja skaalataan analyysia varten.
• Miten datan laatu validoidaan ja poikkeavat havainnot tunnistetaan.
• Miksi datan puhdistaminen on tärkeää tarkan analyysin kannalta.

Hienoa työtä! Siirrytään seuraavaan aiheeseen.