Keşifsel Veri Analizi (EDA)

Keşifsel Veri Analizi (EDA), veri bilimi iş akışında kritik bir adımdır. Verilerdeki örüntüleri, ilişkileri ve içgörüleri ortaya çıkarmak için verileri özetlemeyi, görselleştirmeyi ve anlamayı içerir.

Bu derste, Pandas ve Matplotlib gibi Python kitaplıklarını kullanarak EDA gerçekleştirme tekniklerini öğreneceksiniz.

EDA Nedir?

EDA, şunları yapmanıza yardımcı olur:

• Verilerin yapısını ve özelliklerini anlamak.
• Örüntüleri, eğilimleri ve aykırı değerleri belirlemek.
• Verileri sonraki analiz veya modelleme için nasıl ön işleyeceğinize karar vermek.

Pandas ile Verileri Özetleme

Pandas, betimleyici istatistikler oluşturmak ve veri kümelerini özetlemek için işlevler sağlar:

# Example: Summarizing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35], 'Salary': [50000, 60000, 70000]}
df = pd.DataFrame(data)
print(df.describe())

Matplotlib ile Verileri Görselleştirme

Matplotlib, görselleştirmeler oluşturmak için güçlü bir kitaplıktır. EDA için çizimler ve grafikler oluşturmak üzere onu kullanın.

# Example: Plotting data
import matplotlib.pyplot as plt

x = ['Alice', 'Bob', 'Charlie']
y = [50000, 60000, 70000]
plt.bar(x, y)
plt.title('Salaries')
plt.show()

Eksik Verileri Belirleme

Pandas, veri kümesindeki eksik değerleri tespit etmeyi kolaylaştırır:

# Example: Identifying missing data
data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 35]}
df = pd.DataFrame(data)
print(df.isnull().sum())

Korelasyon Analizi

Korelasyon, sayısal değişkenler arasındaki ilişkiyi ölçer. Korelasyon matrislerini hesaplamak için Pandas'ı kullanın:

# Example: Correlation analysis
print(df.corr())

Dağılımları Görselleştirme

Veri dağılımını anlamak, EDA'nın temel unsurlarından biridir. Dağılımları görselleştirmek için histogramları kullanın:

# Example: Visualizing distributions
import seaborn as sns
sns.histplot(df['Salary'])
plt.show()

Aykırı Değerleri Tespit Etme

Aykırı değerler analizi etkileyebilir. Kutu grafikleri, aykırı değerleri tespit etmek için kullanışlıdır:

# Example: Detecting outliers
sns.boxplot(x=df['Salary'])
plt.show()

EDA'da Yaygın Hatalar

Kaçınmanız gereken bazı hatalar şunlardır:

• Görselleştirmeleri atlayıp yalnızca sayısal özetlere güvenmek.
• Eksik verileri ve aykırı değerleri yok saymak.
• Değişkenler arasındaki ilişkileri incelememek.

Ne Öğrendik?

Bu derste şunları öğrendiniz:

• Keşifsel Veri Analizinin (EDA) önemini.
• Pandas kullanarak verilerin nasıl özetleneceğini.
• Matplotlib ve Seaborn kullanarak veri dağılımlarının, aykırı değerlerin ve korelasyonların nasıl görselleştirileceğini.
• EDA sırasında kaçınılması gereken yaygın hataları.

Harika iş çıkardınız! Bir sonraki konuya geçelim.