Datarensning og forbehandling

Datarensning og forbehandling

Rådata er ofte rodet og kræver rensning og forbehandling, før de kan analyseres. Disse trin er afgørende for at sikre kvaliteten og nøjagtigheden af din analyse.

I denne lektion lærer du teknikker til at håndtere manglende data, fjerne dubletter og forbehandle data til analyse.

Datarensning omfatter identifikation og rettelse af fejl i datasættet. Almindelige opgaver omfatter:

• Håndtering af manglende værdier.
• Fjernelse af dubletter.
• Standardisering af formater.

Manglende data kan opstå af forskellige årsager. Du kan håndtere dem ved at:

• Udfylde manglende værdier med en standardværdi, et gennemsnit eller en median.
• Fjerne rækker eller kolonner, der indeholder for mange manglende værdier.

# Example: Handling missing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 30]}
df = pd.DataFrame(data)
df['Age'].fillna(df['Age'].mean(), inplace=True)
print(df)

Dublerede data kan forvrænge din analyse. Brug Pandas til at fjerne dubletter:

# Example: Removing duplicates
data = {'Name': ['Alice', 'Bob', 'Alice'], 'Age': [25, 30, 25]}
df = pd.DataFrame(data)
df = df.drop_duplicates()
print(df)

Datastandardisering sikrer ensartethed. Du kan for eksempel standardisere datoformater eller brugen af store og små bogstaver i tekst:

# Example: Standardizing text case
data = {'Name': ['Alice', 'BOB', 'alice']}
df = pd.DataFrame(data)
df['Name'] = df['Name'].str.capitalize()
print(df)

Transformationer som skalering og kodning er en del af forbehandlingen:

• Skalering: Standardisering af numeriske værdier.
• Kodning: Konvertering af kategoriske data til numerisk format.

# Example: Encoding categorical data
from sklearn.preprocessing import LabelEncoder

data = {'Category': ['A', 'B', 'A']}
df = pd.DataFrame(data)
encoder = LabelEncoder()
df['Category'] = encoder.fit_transform(df['Category'])
print(df)

Skalering sikrer, at numeriske data er på samme skala, hvilket er afgørende for maskinlæringsalgoritmer:

# Example: Scaling data
from sklearn.preprocessing import StandardScaler

values = [[10], [20], [30]]
scaler = StandardScaler()
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Validering sikrer, at data lever op til kvalitetsstandarderne. Kontrollér for eksempel, om der er afvigere eller ugyldige værdier:

# Example: Validating data
import numpy as np

data = [10, 20, 1000]  # 1000 might be an outlier
mean = np.mean(data)
std_dev = np.std(data)
outliers = [x for x in data if abs(x - mean) > 2 * std_dev]
print("Outliers:", outliers)

Her er nogle fejl, du bør undgå:

• At ignorere manglende data, hvilket fører til unøjagtig analyse.
• Ikke at standardisere formater, hvilket skaber uoverensstemmelser.
• At overse validering, hvilket fører til fejl i efterfølgende opgaver.

I denne lektion har du lært:

• Hvordan du håndterer manglende data og fjerner dubletter.
• Hvordan du standardiserer, transformerer og skalerer data til analyse.
• Hvordan du validerer datakvaliteten og identificerer afvigere.
• Hvor vigtigt det er at rense data for at opnå en nøjagtig analyse.

Godt gået! Lad os gå videre til det næste emne.