Metode Seleksi Fitur
Metode filter (varians, korelasi), wrapper (RFE), dan embedded (regularisasi L1).
Metode Seleksi Fitur adalah pelajaran Learn AI with Python gratis di CoddyKit. Ini adalah pelajaran 1 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar Learn AI with Python, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus Learn AI with Python mencakup 4 pelajaran total.
Mengapa Memilih Fitur
Pemilihan fitur hanya mempertahankan kolom yang paling berguna. Lebih sedikit fitur berarti pelatihan lebih cepat, lebih sedikit pemodelan berlebihan, dan interpretasi yang lebih mudah. Menghapus derau juga sering meningkatkan akurasi.
Tiga Kelompok Metode
Metode pemilihan terbagi menjadi tiga kelompok:
- Penyaring memberi peringkat fitur berdasarkan statistik (cepat, tidak bergantung pada model)
- Pembungkus mencari subset dengan melatih model (lambat, akurat)
- Tertanam pemilihan terjadi selama pelatihan model
VarianceThreshold
Penyaring paling sederhana: VarianceThreshold menghapus fitur yang variansnya berada di bawah batas. Kolom yang hampir konstan tidak membawa informasi.
from sklearn.feature_selection import VarianceThreshold
sel = VarianceThreshold(threshold=0.01)
X_reduced = sel.fit_transform(X)
print("Kept:", X_reduced.shape[1], "of", X.shape[1])SelectKBest dengan f_classif
SelectKBest mempertahankan K fitur dengan skor tertinggi. Dengan f_classif, metode ini menggunakan uji-F ANOVA yang mengukur seberapa kuat setiap fitur berkaitan dengan label kelas.
from sklearn.feature_selection import SelectKBest, f_classif
sel = SelectKBest(score_func=f_classif, k=10)
X_best = sel.fit_transform(X, y)
print(sel.get_support(indices=True))Informasi Mutual
mutual_info_classif mengukur ketergantungan apa pun, termasuk yang nonlinier, antara suatu fitur dan target. Berbeda dari uji-F, metode ini menangkap hubungan nonlinier yang tidak terdeteksi ANOVA.
from sklearn.feature_selection import SelectKBest, mutual_info_classif
sel = SelectKBest(score_func=mutual_info_classif, k=10)
X_mi = sel.fit_transform(X, y)Perbandingan f_classif dan mutual_info
f_classif cepat dan mendeteksi hubungan linier; mutual_info_classif lebih lambat tetapi menangkap hubungan nonlinier. Jika Anda menduga adanya hubungan yang kompleks, pilih informasi mutual.
import numpy as np
from sklearn.feature_selection import f_classif, mutual_info_classif
f_scores, _ = f_classif(X, y)
mi_scores = mutual_info_classif(X, y)
print("F-test top:", np.argsort(f_scores)[::-1][:5])
print("MI top:", np.argsort(mi_scores)[::-1][:5])Eliminasi Fitur Rekursif
RFE adalah metode pembungkus: metode ini melatih model, menghapus fitur terlemah, lalu mengulangi proses tersebut. Metode ini menggunakan sinyal kepentingan dari model itu sendiri untuk memberi peringkat fitur.
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression
rfe = RFE(estimator=LogisticRegression(max_iter=1000), n_features_to_select=10)
rfe.fit(X, y)
print(rfe.support_)RFECV: Memilih Jumlah Secara Otomatis
RFECV menambahkan validasi silang ke RFE sehingga metode ini menemukan jumlah fitur yang optimal berdasarkan skor validasi, bukan berdasarkan tebakan tetap.
from sklearn.feature_selection import RFECV
from sklearn.ensemble import RandomForestClassifier
rfecv = RFECV(
estimator=RandomForestClassifier(),
cv=5,
scoring="accuracy",
)
rfecv.fit(X, y)
print("Optimal features:", rfecv.n_features_)SelectFromModel dengan Lasso
Pemilihan tertanam: Lasso (L1) menyusutkan koefisien yang tidak penting hingga tepat nol. SelectFromModel kemudian hanya mempertahankan koefisien yang bukan nol.
from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import Lasso
sel = SelectFromModel(Lasso(alpha=0.01))
sel.fit(X, y)
X_lasso = sel.transform(X)
print("Kept:", X_lasso.shape[1])SelectFromModel dengan Kepentingan Pohon
SelectFromModel juga berfungsi dengan estimator apa pun yang menyediakan feature_importances_, seperti hutan acak. Tetapkan threshold seperti "mean" atau "median".
from sklearn.feature_selection import SelectFromModel
from sklearn.ensemble import RandomForestClassifier
sel = SelectFromModel(
RandomForestClassifier(n_estimators=200),
threshold="median",
)
sel.fit(X, y)Memilih Metode
Mulailah dengan penyaring murah (VarianceThreshold, SelectKBest) untuk menghapus data tidak berguna yang sudah jelas. Gunakan SelectFromModel tertanam untuk keseimbangan yang baik. Simpan RFECV untuk situasi ketika akurasi paling penting dan komputasi memungkinkan.
Pemeriksaan Singkat
Uji pengetahuan Anda tentang pemilihan fitur.
Ringkasan
Ringkasan: Pemilihan fitur mencakup metode penyaring (VarianceThreshold, SelectKBest dengan f_classif atau mutual_info_classif), pembungkus (RFECV), dan tertanam (SelectFromModel dengan Lasso atau kepentingan pohon). Penyaring adalah yang tercepat; RFECV adalah yang paling akurat. Gunakan informasi mutual untuk hubungan nonlinier.
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 53
- Pelajaran
- 225
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Metode Seleksi Fitur” gratis?
Ya — teks lengkap “Metode Seleksi Fitur” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus Learn AI with Python, upgrade ke CoddyKit PRO. Kursus Learn AI with Python mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Metode Seleksi Fitur”?
Metode filter (varians, korelasi), wrapper (RFE), dan embedded (regularisasi L1). Kamu berlatih Learn AI with Python dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai Learn AI with Python?
Tidak diperlukan pengalaman sebelumnya. Learn AI with Python di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 1 dari 4.
Berapa lama pelajaran “Metode Seleksi Fitur” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran Learn AI with Python ini?
Ya. Setiap pelajaran Learn AI with Python menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Metode Seleksi Fitur
- Membuat Fitur Interaksi dan Polinomial
- Pengodean Target dan Penanganan Kategorikal Lanjutan
- Rekayasa Fitur Otomatis dengan Featuretools