Czyszczenie i wstępne przetwarzanie danych

Surowe dane często są nieuporządkowane i wymagają czyszczenia oraz wstępnego przetworzenia, zanim będzie można je przeanalizować. Etapy te mają kluczowe znaczenie dla zapewnienia jakości i dokładności analizy.

W tej lekcji poznają Państwo techniki obsługi brakujących danych, usuwania duplikatów i wstępnego przetwarzania danych przed analizą.

Na czym polega czyszczenie danych?

Czyszczenie danych polega na identyfikowaniu i naprawianiu błędów w zbiorze danych. Typowe zadania obejmują:

• Obsługę brakujących wartości.
• Usuwanie duplikatów.
• Standaryzowanie formatów.

Obsługa brakujących danych

Brakujące dane mogą pojawiać się z różnych powodów. Można je obsługiwać poprzez:

• Uzupełnianie brakujących wartości wartością domyślną, średnią lub medianą.
• Usuwanie wierszy lub kolumn, w których brakuje zbyt wielu wartości.

# Example: Handling missing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 30]}
df = pd.DataFrame(data)
df['Age'].fillna(df['Age'].mean(), inplace=True)
print(df)

Usuwanie duplikatów

Duplikaty danych mogą zniekształcać wyniki analizy. Do ich usuwania należy używać Pandas:

# Example: Removing duplicates
data = {'Name': ['Alice', 'Bob', 'Alice'], 'Age': [25, 30, 25]}
df = pd.DataFrame(data)
df = df.drop_duplicates()
print(df)

Standaryzowanie danych

Standaryzacja danych zapewnia spójność. Można na przykład ujednolicić formaty dat lub wielkość liter w tekście:

# Example: Standardizing text case
data = {'Name': ['Alice', 'BOB', 'alice']}
df = pd.DataFrame(data)
df['Name'] = df['Name'].str.capitalize()
print(df)

Przekształcanie danych

Skalowanie i kodowanie to przykłady przekształceń stosowanych podczas wstępnego przetwarzania:

• Skalowanie: Standaryzowanie wartości liczbowych.
• Kodowanie: Przekształcanie danych kategorycznych do postaci liczbowej.

# Example: Encoding categorical data
from sklearn.preprocessing import LabelEncoder

data = {'Category': ['A', 'B', 'A']}
df = pd.DataFrame(data)
encoder = LabelEncoder()
df['Category'] = encoder.fit_transform(df['Category'])
print(df)

Skalowanie danych

Skalowanie zapewnia, że dane numeryczne są przedstawione w tej samej skali, co ma kluczowe znaczenie dla algorytmów uczenia maszynowego:

# Example: Scaling data
from sklearn.preprocessing import StandardScaler

values = [[10], [20], [30]]
scaler = StandardScaler()
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Walidacja danych

Walidacja zapewnia, że dane spełniają standardy jakości. Należy na przykład sprawdzić, czy nie zawierają wartości odstających lub nieprawidłowych:

# Example: Validating data
import numpy as np

data = [10, 20, 1000]  # 1000 might be an outlier
mean = np.mean(data)
std_dev = np.std(data)
outliers = [x for x in data if abs(x - mean) > 2 * std_dev]
print("Outliers:", outliers)

Częste błędy podczas czyszczenia danych

Oto kilka błędów, których należy unikać:

• Ignorowanie brakujących danych, co prowadzi do niedokładnej analizy.
• Nieujednolicanie formatów, co powoduje niespójności.
• Pomijanie walidacji, co prowadzi do błędów w kolejnych etapach przetwarzania.

Czego się nauczyliśmy?

W tej lekcji nauczyli się Państwo:

• Jak obsługiwać brakujące dane i usuwać duplikaty.
• Jak standaryzować, przekształcać i skalować dane na potrzeby analizy.
• Jak weryfikować jakość danych i identyfikować wartości odstające.
• Jakie znaczenie ma czyszczenie danych dla dokładnej analizy.

Świetnie! Przejdźmy do kolejnego tematu.