Pembersihan dan Prapemprosesan Data

Pembersihan dan Prapemprosesan Data

Data mentah sering kali tidak teratur dan memerlukan pembersihan serta prapemprosesan sebelum boleh dianalisis. Langkah-langkah ini penting untuk memastikan kualiti dan ketepatan analisis Anda.

Dalam pelajaran ini, Anda akan mempelajari teknik untuk mengendalikan data yang hilang, membuang pendua dan melakukan prapemprosesan data untuk analisis.

Pembersihan data melibatkan proses mengenal pasti dan membaiki ralat dalam set data. Tugas yang lazim termasuk:

• Mengendalikan nilai yang hilang.
• Membuang pendua.
• Menyeragamkan format.

Data yang hilang boleh berlaku atas pelbagai sebab. Anda boleh mengendalikannya dengan:

• Mengisi nilai yang hilang dengan nilai lalai atau mean/median.
• Membuang baris atau lajur yang mempunyai terlalu banyak nilai yang hilang.

# Example: Handling missing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 30]}
df = pd.DataFrame(data)
df['Age'].fillna(df['Age'].mean(), inplace=True)
print(df)

Data pendua boleh menjejaskan analisis Anda. Gunakan Pandas untuk membuang pendua:

# Example: Removing duplicates
data = {'Name': ['Alice', 'Bob', 'Alice'], 'Age': [25, 30, 25]}
df = pd.DataFrame(data)
df = df.drop_duplicates()
print(df)

Penyeragaman data memastikan ketekalan. Sebagai contoh, Anda boleh menyeragamkan format tarikh atau huruf besar dan kecil dalam teks:

# Example: Standardizing text case
data = {'Name': ['Alice', 'BOB', 'alice']}
df = pd.DataFrame(data)
df['Name'] = df['Name'].str.capitalize()
print(df)

Penukaran seperti penskalaan dan pengekodan merupakan sebahagian daripada prapemprosesan:

• Penskalaan: Menyeragamkan nilai berangka.
• Pengekodan: Menukar data kategori kepada bentuk berangka.

# Example: Encoding categorical data
from sklearn.preprocessing import LabelEncoder

data = {'Category': ['A', 'B', 'A']}
df = pd.DataFrame(data)
encoder = LabelEncoder()
df['Category'] = encoder.fit_transform(df['Category'])
print(df)

Penskalaan memastikan data berangka berada pada skala yang sama, yang penting untuk algoritma pembelajaran mesin:

# Example: Scaling data
from sklearn.preprocessing import StandardScaler

values = [[10], [20], [30]]
scaler = StandardScaler()
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Pengesahan memastikan data memenuhi piawaian kualiti. Sebagai contoh, semak nilai terpencil atau nilai yang tidak sah:

# Example: Validating data
import numpy as np

data = [10, 20, 1000]  # 1000 might be an outlier
mean = np.mean(data)
std_dev = np.std(data)
outliers = [x for x in data if abs(x - mean) > 2 * std_dev]
print("Outliers:", outliers)

Berikut ialah beberapa kesilapan yang perlu dielakkan:

• Mengabaikan data yang hilang, lalu menyebabkan analisis tidak tepat.
• Tidak menyeragamkan format, lalu menyebabkan ketidakselarasan.
• Mengabaikan pengesahan, lalu menyebabkan ralat dalam tugasan seterusnya.

Dalam pelajaran ini, anda telah mempelajari:

• Cara mengendalikan data yang hilang dan membuang pendua.
• Cara menyeragamkan, mentransformasikan dan menskalakan data untuk analisis.
• Cara mengesahkan kualiti data dan mengenal pasti nilai terpencil.
• Kepentingan pembersihan data untuk analisis yang tepat.

Syabas! Mari beralih ke topik seterusnya.