Pembersihan Data dan Prapemrosesan

Data mentah sering kali berantakan dan perlu dibersihkan serta dipraproses sebelum dapat dianalisis. Langkah-langkah ini penting untuk memastikan kualitas dan keakuratan analisis Anda.

Dalam pelajaran ini, Anda akan mempelajari teknik untuk menangani data yang hilang, menghapus duplikasi, dan melakukan prapemrosesan data untuk analisis.

Apa Itu Pembersihan Data?

Pembersihan data mencakup identifikasi dan perbaikan kesalahan dalam kumpulan data. Tugas yang umum meliputi:

• Menangani nilai yang hilang.
• Menghapus duplikasi.
• Menyeragamkan format.

Menangani Data yang Hilang

Data yang hilang dapat terjadi karena berbagai alasan. Anda dapat menanganinya dengan cara:

• Mengisi nilai yang hilang dengan nilai bawaan atau mean/nilai tengah.
• Menghapus baris atau kolom yang memiliki terlalu banyak nilai yang hilang.

# Example: Handling missing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 30]}
df = pd.DataFrame(data)
df['Age'].fillna(df['Age'].mean(), inplace=True)
print(df)

Menghapus Duplikasi

Data duplikat dapat memengaruhi hasil analisis Anda. Gunakan Pandas untuk menghapus duplikasi:

# Example: Removing duplicates
data = {'Name': ['Alice', 'Bob', 'Alice'], 'Age': [25, 30, 25]}
df = pd.DataFrame(data)
df = df.drop_duplicates()
print(df)

Menyeragamkan Data

Standardisasi data memastikan konsistensi. Sebagai contoh, Anda dapat menyeragamkan format tanggal atau kapitalisasi teks:

# Example: Standardizing text case
data = {'Name': ['Alice', 'BOB', 'alice']}
df = pd.DataFrame(data)
df['Name'] = df['Name'].str.capitalize()
print(df)

Mengubah Data

Transformasi seperti penskalaan dan pengodean merupakan bagian dari prapemrosesan:

• Penskalaan: Menyeragamkan nilai numerik.
• Pengodean: Mengubah data kategorikal ke dalam bentuk numerik.

# Example: Encoding categorical data
from sklearn.preprocessing import LabelEncoder

data = {'Category': ['A', 'B', 'A']}
df = pd.DataFrame(data)
encoder = LabelEncoder()
df['Category'] = encoder.fit_transform(df['Category'])
print(df)

Penskalaan Data

Penskalaan memastikan data numerik berada pada skala yang sama, yang sangat penting bagi algoritme pembelajaran mesin:

# Example: Scaling data
from sklearn.preprocessing import StandardScaler

values = [[10], [20], [30]]
scaler = StandardScaler()
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Validasi Data

Validasi memastikan data memenuhi standar kualitas. Misalnya, periksa pencilan atau nilai yang tidak valid:

# Example: Validating data
import numpy as np

data = [10, 20, 1000]  # 1000 might be an outlier
mean = np.mean(data)
std_dev = np.std(data)
outliers = [x for x in data if abs(x - mean) > 2 * std_dev]
print("Outliers:", outliers)

Kesalahan Umum dalam Pembersihan Data

Berikut beberapa kesalahan yang perlu dihindari:

• Mengabaikan data yang hilang sehingga analisis menjadi tidak akurat.
• Tidak menyeragamkan format sehingga menimbulkan ketidakkonsistenan.
• Mengabaikan validasi sehingga menimbulkan kesalahan dalam tugas lanjutan.

Apa yang Telah Dipelajari?

Dalam pelajaran ini, Anda mempelajari:

• Cara menangani data yang hilang dan menghapus duplikat.
• Cara menyeragamkan, mentransformasi, dan menskalakan data untuk analisis.
• Cara memvalidasi kualitas data dan mengidentifikasi pencilan.
• Pentingnya pembersihan data untuk menghasilkan analisis yang akurat.

Bagus! Mari kita lanjutkan ke topik berikutnya.