Veri Temizleme ve Ön İşleme

Ham veriler genellikle düzensizdir ve analiz edilebilmeden önce temizlenmeleri ve ön işleme tabi tutulmaları gerekir. Bu adımlar, analizinizin kalitesini ve doğruluğunu güvence altına almak için çok önemlidir.

Bu derste eksik verileri ele alma, yinelenenleri kaldırma ve verileri analize hazırlama tekniklerini öğreneceksiniz.

Veri Temizleme Nedir?

Veri temizleme, veri kümesindeki hataları belirlemeyi ve düzeltmeyi kapsar. Yaygın görevler şunlardır:

• Eksik değerleri ele alma.
• Yinelenenleri kaldırma.
• Biçimleri standartlaştırma.

Eksik Verileri Ele Alma

Eksik veriler çeşitli nedenlerle ortaya çıkabilir. Bunları şu yollarla ele alabilirsiniz:

• Eksik değerleri varsayılan bir değerle ya da mean/medyan ile doldurma.
• Çok fazla eksik değer içeren satırları veya sütunları kaldırma.

# Example: Handling missing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 30]}
df = pd.DataFrame(data)
df['Age'].fillna(df['Age'].mean(), inplace=True)
print(df)

Yinelenenleri Kaldırma

Yinelenen veriler analizinizin sonuçlarını çarpıtabilir. Yinelenenleri kaldırmak için Pandas kullanın:

# Example: Removing duplicates
data = {'Name': ['Alice', 'Bob', 'Alice'], 'Age': [25, 30, 25]}
df = pd.DataFrame(data)
df = df.drop_duplicates()
print(df)

Verileri Standartlaştırma

Veri standardizasyonu tutarlılığı sağlar. Örneğin tarih biçimlerini veya metinlerin harf kullanımını standartlaştırabilirsiniz:

# Example: Standardizing text case
data = {'Name': ['Alice', 'BOB', 'alice']}
df = pd.DataFrame(data)
df['Name'] = df['Name'].str.capitalize()
print(df)

Verileri Dönüştürme

Ölçeklendirme ve kodlama gibi dönüşümler ön işlemenin bir parçasıdır:

• Ölçeklendirme: Sayısal değerleri standartlaştırma.
• Kodlama: Kategorik verileri sayısal biçime dönüştürme.

# Example: Encoding categorical data
from sklearn.preprocessing import LabelEncoder

data = {'Category': ['A', 'B', 'A']}
df = pd.DataFrame(data)
encoder = LabelEncoder()
df['Category'] = encoder.fit_transform(df['Category'])
print(df)

Verileri Ölçeklendirme

Ölçeklendirme, sayısal verilerin aynı ölçekte olmasını sağlar; bu, makine öğrenmesi algoritmaları için çok önemlidir:

# Example: Scaling data
from sklearn.preprocessing import StandardScaler

values = [[10], [20], [30]]
scaler = StandardScaler()
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Verileri Doğrulama

Doğrulama, verilerin kalite standartlarını karşılamasını sağlar. Örneğin, aykırı değerleri veya geçersiz değerleri kontrol edin:

# Example: Validating data
import numpy as np

data = [10, 20, 1000]  # 1000 might be an outlier
mean = np.mean(data)
std_dev = np.std(data)
outliers = [x for x in data if abs(x - mean) > 2 * std_dev]
print("Outliers:", outliers)

Veri Temizlemede Yaygın Hatalar

Kaçınmanız gereken bazı hatalar şunlardır:

• Eksik verileri yok saymak ve bunun sonucunda hatalı analiz yapmak.
• Biçimleri standartlaştırmamak ve tutarsızlıklara neden olmak.
• Doğrulamayı gözden kaçırmak ve bunun sonucunda sonraki işlemlerde hatalara yol açmak.

Ne Öğrendik?

Bu derste şunları öğrendiniz:

• Eksik verilerin nasıl işleneceğini ve yinelenen kayıtların nasıl kaldırılacağını.
• Verilerin analiz için nasıl standartlaştırılacağını, dönüştürüleceğini ve ölçeklendirileceğini.
• Veri kalitesinin nasıl doğrulanacağını ve aykırı değerlerin nasıl belirleneceğini.
• Doğru analiz için veri temizlemenin önemini.

Harika iş çıkardınız! Bir sonraki konuya geçelim.