Rekayasa dan Seleksi Fitur

Rekayasa dan seleksi fitur merupakan langkah penting dalam membangun model pembelajaran mesin yang efektif. Proses ini melibatkan pembuatan fitur baru dan pemilihan fitur yang paling relevan untuk meningkatkan kinerja model.

Dalam pelajaran ini, Anda akan mempelajari teknik rekayasa dan seleksi fitur untuk meningkatkan akurasi prediksi.

Apa Itu Rekayasa Fitur?

Rekayasa fitur melibatkan pembuatan fitur baru dari data mentah agar model pembelajaran mesin menjadi lebih efektif. Contohnya meliputi:

• Mengekstrak fitur berbasis waktu seperti hari, bulan, atau jam dari cap waktu.
• Menggabungkan beberapa fitur menjadi fitur baru.
• Melakukan penskalaan fitur numerik untuk menyeragamkan rentangnya.

Membuat Fitur Baru

Mari membuat fitur baru berdasarkan data yang sudah ada:

# Example: Creating new features
import pandas as pd

data = {'Timestamp': ['2025-01-01 12:00:00', '2025-01-02 15:30:00']}
df = pd.DataFrame(data)
df['Hour'] = pd.to_datetime(df['Timestamp']).dt.hour
df['Day'] = pd.to_datetime(df['Timestamp']).dt.day
print(df)

Melakukan Penskalaan Fitur

Penskalaan memastikan semua fitur numerik berada pada skala yang sama sehingga meningkatkan kinerja model:

# Example: Scaling features
from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
values = [[10], [20], [30]]
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Seleksi Fitur

Seleksi fitur melibatkan pemilihan fitur yang paling relevan untuk model. Teknik yang umum meliputi:

• Metode Penyaringan: Memilih fitur berdasarkan ukuran statistik seperti korelasi.
• Metode Pembungkus: Menggunakan algoritme seperti Eliminasi Fitur Rekursif (RFE).
• Metode Tersemat: Memilih fitur selama pelatihan model, misalnya regresi Lasso.

Seleksi Fitur Berbasis Korelasi

Fitur yang memiliki korelasi tinggi dapat bersifat redundan. Gunakan Pandas untuk menghitung korelasi:

# Example: Correlation-based feature selection
import pandas as pd

data = {'Feature1': [1, 2, 3], 'Feature2': [2, 4, 6], 'Feature3': [1, 1, 1]}
df = pd.DataFrame(data)
print(df.corr())

Eliminasi Fitur Rekursif (RFE)

RFE adalah metode pembungkus yang secara berulang menghapus fitur yang paling tidak penting:

# Example: RFE
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = LogisticRegression()
rfe = RFE(model, n_features_to_select=2)
rfe.fit(X, y)
print("Selected Features:", rfe.support_)

Pentingnya Fitur dengan Model Berbasis Pohon

Model berbasis pohon seperti Random Forest memberikan skor pentingnya fitur:

# Example: Feature importance
from sklearn.ensemble import RandomForestClassifier

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = RandomForestClassifier()
model.fit(X, y)
print("Feature Importances:", model.feature_importances_)

Kesalahan Umum dalam Rekayasa Fitur

Berikut beberapa kesalahan yang perlu dihindari:

• Membuat terlalu banyak fitur, yang dapat menyebabkan overfitting.
• Mengabaikan kebutuhan penskalaan dalam algoritme berbasis jarak.
• Menggunakan fitur yang memiliki korelasi tinggi sehingga menimbulkan redundansi.

Apa yang Telah Kita Pelajari?

Dalam pelajaran ini, Anda telah mempelajari:

• Pentingnya rekayasa dan seleksi fitur dalam pembelajaran mesin.
• Teknik untuk membuat fitur baru dan melakukan penskalaan fitur numerik.
• Cara memilih fitur yang relevan menggunakan metode seperti RFE dan model berbasis pohon.
• Kesalahan umum yang perlu dihindari selama rekayasa fitur.

Kerja bagus! Mari lanjut ke topik berikutnya.