Kejuruteraan dan Pemilihan Ciri

Kejuruteraan dan pemilihan ciri ialah langkah penting dalam membina model pembelajaran mesin yang berkesan. Proses ini melibatkan penciptaan ciri baharu dan pemilihan ciri yang paling relevan untuk meningkatkan prestasi model.

Dalam pelajaran ini, anda akan mempelajari teknik kejuruteraan dan pemilihan ciri untuk meningkatkan ketepatan ramalan.

Kejuruteraan ciri melibatkan penciptaan ciri baharu daripada data mentah untuk menjadikan model pembelajaran mesin lebih berkesan. Contohnya termasuk:

• Mengekstrak ciri berasaskan masa seperti hari, bulan atau jam daripada cap masa.
• Menggabungkan beberapa ciri menjadi ciri baharu.
• Menskalakan ciri berangka untuk menyeragamkan julatnya.

Mari cipta ciri baharu berdasarkan data sedia ada:

# Example: Creating new features
import pandas as pd

data = {'Timestamp': ['2025-01-01 12:00:00', '2025-01-02 15:30:00']}
df = pd.DataFrame(data)
df['Hour'] = pd.to_datetime(df['Timestamp']).dt.hour
df['Day'] = pd.to_datetime(df['Timestamp']).dt.day
print(df)

Penskalaan memastikan semua ciri berangka berada pada skala yang sama, sekali gus meningkatkan prestasi model:

# Example: Scaling features
from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
values = [[10], [20], [30]]
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Pemilihan ciri melibatkan pemilihan ciri yang paling relevan untuk model. Teknik lazim termasuk:

• Kaedah Penapisan: Memilih ciri berdasarkan ukuran statistik seperti korelasi.
• Kaedah Pembalut: Menggunakan algoritma seperti Penghapusan Ciri Rekursif (RFE).
• Kaedah Terbenam: Memilih ciri semasa latihan model, contohnya regresi Lasso.

Ciri yang sangat berkorelasi mungkin berlebihan. Gunakan Pandas untuk mengira korelasi:

# Example: Correlation-based feature selection
import pandas as pd

data = {'Feature1': [1, 2, 3], 'Feature2': [2, 4, 6], 'Feature3': [1, 1, 1]}
df = pd.DataFrame(data)
print(df.corr())

RFE ialah kaedah pembalut yang menghapuskan ciri yang paling kurang penting secara berulang:

# Example: RFE
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = LogisticRegression()
rfe = RFE(model, n_features_to_select=2)
rfe.fit(X, y)
print("Selected Features:", rfe.support_)

Model berasaskan pepohon seperti Hutan Rawak memberikan skor kepentingan ciri:

# Example: Feature importance
from sklearn.ensemble import RandomForestClassifier

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = RandomForestClassifier()
model.fit(X, y)
print("Feature Importances:", model.feature_importances_)

Berikut ialah beberapa kesilapan yang perlu dielakkan:

• Mencipta terlalu banyak ciri, yang boleh menyebabkan terlebih padan.
• Mengabaikan keperluan penskalaan dalam algoritma berasaskan jarak.
• Menggunakan ciri yang sangat berkorelasi sehingga menyebabkan lebihan.

Dalam pelajaran ini, anda telah mempelajari:

• Kepentingan kejuruteraan dan pemilihan ciri dalam pembelajaran mesin.
• Teknik untuk mencipta ciri baharu dan menskalakan ciri berangka.
• Cara memilih ciri yang relevan menggunakan kaedah seperti RFE dan model berasaskan pepohon.
• Kesilapan lazim yang perlu dielakkan semasa kejuruteraan ciri.

Syabas! Mari beralih ke topik seterusnya.