Dasar-Dasar Gradient Boosting

Boosting gradien membangun pohon satu demi satu, dengan setiap pohon baru memperbaiki kesalahan yang ditinggalkan pohon-pohon sebelumnya. 🚀

Hutan membangun pohon secara paralel dan melakukan pemungutan suara. Boosting membangunnya secara berurutan, sehingga setiap pohon bergantung pada pohon-pohon sebelumnya.

Setiap pohon sengaja dibuat sebagai pembelajar lemah, biasanya dangkal. Secara sendiri hasilnya buruk, tetapi jika ditumpuk, semuanya menjadi kuat.

Setiap pohon baru menargetkan kesalahan tersisa, yaitu residual, dari model saat ini, dan secara bertahap mendorong prediksi mendekati kebenaran.

Laju pembelajaran yang kecil mengecilkan kontribusi setiap pohon. Langkah yang lebih lambat biasanya menghasilkan model akhir yang lebih akurat dan stabil.

Turunkan laju pembelajaran, dan Anda memerlukan lebih banyak pohon sebagai kompensasi. Kedua pengaturan ini disetel bersama-sama, tidak pernah sendirian.

scikit-learn menyediakan pengklasifikasi siap pakai. Tetapkan jumlah pohon dan ukuran langkah, lalu jalankan fit seperti biasa dengan kontrak yang sama.

Pada data tabular yang berantakan, pohon hasil boosting menangkap pola halus yang tidak terlihat oleh model sederhana. Itulah sebabnya metode ini menduduki puncak banyak papan peringkat. 🏆

Pustaka seperti XGBoost, LightGBM, dan CatBoost merupakan boosting gradien yang dioptimalkan untuk kecepatan, serta menjadi alat utama dalam kompetisi data tabular yang serius.

Terlalu banyak pohon atau pohon yang terlalu dalam tetap dapat menyebabkan overfitting pada boosting. Pantau skor validasi dan hentikan penambahan pohon saat skor tidak lagi meningkat.

Setelah model dilatih, prediksi dilakukan dengan pemanggilan yang sama seperti biasa. Kompleksitasnya ada pada proses pelatihan, bukan saat meminta jawaban.

Gradient boosting menyusun pohon-pohon lemah secara berurutan, dan setiap pohon memperbaiki kesalahan sebelumnya. Sesuaikan pohon dan laju pembelajaran untuk mendapatkan hasil terbaik pada data tabular. 🎯