Datarensing og forbehandling

Datarensing og forbehandling

Rådata er ofte uoversiktlige og må renses og forbehandles før de kan analyseres. Disse trinnene er avgjørende for å sikre kvaliteten og nøyaktigheten til analysen.

I denne leksjonen skal du lære teknikker for å håndtere manglende data, fjerne duplikater og forbehandle data for analyse.

Datarensing innebærer å identifisere og rette opp feil i datasettet. Vanlige oppgaver omfatter:

• Håndtering av manglende verdier.
• Fjerning av duplikater.
• Standardisering av formater.

Manglende data kan oppstå av ulike årsaker. Du kan håndtere dem ved å:

• Fylle inn manglende verdier med en standardverdi eller gjennomsnitt/median.
• Fjerne rader eller kolonner med for mange manglende verdier.

# Example: Handling missing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 30]}
df = pd.DataFrame(data)
df['Age'].fillna(df['Age'].mean(), inplace=True)
print(df)

Dupliserte data kan gi et skjevt bilde av analysen. Bruk Pandas til å fjerne duplikater:

# Example: Removing duplicates
data = {'Name': ['Alice', 'Bob', 'Alice'], 'Age': [25, 30, 25]}
df = pd.DataFrame(data)
df = df.drop_duplicates()
print(df)

Standardisering av data sikrer konsistens. Du kan for eksempel standardisere datoformater eller bruk av store og små bokstaver i tekst:

# Example: Standardizing text case
data = {'Name': ['Alice', 'BOB', 'alice']}
df = pd.DataFrame(data)
df['Name'] = df['Name'].str.capitalize()
print(df)

Transformasjoner som skalering og koding er en del av forbehandlingen:

• Skalering: Standardisering av numeriske verdier.
• Koding: Konvertering av kategoriske data til numerisk format.

# Example: Encoding categorical data
from sklearn.preprocessing import LabelEncoder

data = {'Category': ['A', 'B', 'A']}
df = pd.DataFrame(data)
encoder = LabelEncoder()
df['Category'] = encoder.fit_transform(df['Category'])
print(df)

Skalering sørger for at numeriske data er på samme skala, noe som er avgjørende for maskinlæringsalgoritmer:

# Example: Scaling data
from sklearn.preprocessing import StandardScaler

values = [[10], [20], [30]]
scaler = StandardScaler()
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Validering sørger for at dataene oppfyller kvalitetskravene. Du kan for eksempel kontrollere om det finnes uteliggere eller ugyldige verdier:

# Example: Validating data
import numpy as np

data = [10, 20, 1000]  # 1000 might be an outlier
mean = np.mean(data)
std_dev = np.std(data)
outliers = [x for x in data if abs(x - mean) > 2 * std_dev]
print("Outliers:", outliers)

Her er noen feil du bør unngå:

• Å ignorere manglende data, noe som kan føre til unøyaktig analyse.
• Å ikke standardisere formater, noe som kan føre til inkonsistens.
• Å overse validering, noe som kan føre til feil i etterfølgende oppgaver.

I denne leksjonen har du lært:

• Hvordan du håndterer manglende data og fjerner duplikater.
• Hvordan du standardiserer, transformerer og skalerer data for analyse.
• Hvordan du validerer datakvalitet og identifiserer uteliggere.
• Hvor viktig datavask er for å oppnå nøyaktig analyse.

Godt jobbet! La oss gå videre til neste tema.