Analisis Data Eksploratori (EDA)

Analisis Data Eksploratori (EDA)

Analisis Data Eksploratori (EDA) ialah langkah penting dalam aliran kerja sains data. Analisis ini melibatkan proses meringkaskan, memvisualisasikan dan memahami data untuk mendedahkan corak, hubungan dan cerapan.

Dalam pelajaran ini, anda akan mempelajari teknik untuk menjalankan EDA menggunakan pustaka Python seperti Pandas dan Matplotlib.

EDA membantu anda:

• Memahami struktur dan ciri-ciri data.
• Mengenal pasti corak, arah aliran dan nilai terpencil.
• Menentukan cara memproses awal data untuk analisis atau pemodelan selanjutnya.

Pandas menyediakan fungsi untuk menjana statistik deskriptif dan meringkaskan set data:

# Example: Summarizing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35], 'Salary': [50000, 60000, 70000]}
df = pd.DataFrame(data)
print(df.describe())

Matplotlib ialah pustaka berkuasa untuk mencipta visualisasi. Gunakannya untuk mencipta carta dan graf bagi EDA.

# Example: Plotting data
import matplotlib.pyplot as plt

x = ['Alice', 'Bob', 'Charlie']
y = [50000, 60000, 70000]
plt.bar(x, y)
plt.title('Salaries')
plt.show()

Pandas memudahkan pengesanan nilai yang hilang dalam set data:

# Example: Identifying missing data
data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 35]}
df = pd.DataFrame(data)
print(df.isnull().sum())

Korelasi mengukur hubungan antara pemboleh ubah berangka. Gunakan Pandas untuk mengira matriks korelasi:

# Example: Correlation analysis
print(df.corr())

Memahami taburan data merupakan kunci kepada EDA. Gunakan histogram untuk memvisualisasikan taburan:

# Example: Visualizing distributions
import seaborn as sns
sns.histplot(df['Salary'])
plt.show()

Nilai terpencil boleh menjejaskan analisis. Plot kotak berguna untuk mengesan nilai terpencil:

# Example: Detecting outliers
sns.boxplot(x=df['Salary'])
plt.show()

Berikut ialah beberapa kesilapan yang perlu dielakkan:

• Melangkau visualisasi dan hanya bergantung pada ringkasan berangka.
• Mengabaikan data yang hilang dan nilai terpencil.
• Gagal meneroka hubungan antara pemboleh ubah.

Dalam pelajaran ini, anda telah mempelajari:

• Kepentingan Analisis Data Eksploratori (EDA).
• Cara meringkaskan data menggunakan Pandas.
• Cara memvisualisasikan taburan data, nilai terpencil dan korelasi menggunakan Matplotlib dan Seaborn.
• Kesilapan lazim yang perlu dielakkan semasa EDA.

Syabas! Mari beralih ke topik seterusnya.