Pohon Keputusan dan Random Forest

Pohon keputusan mengklasifikasikan data dengan mengajukan rangkaian pertanyaan ya atau tidak tentang fitur Anda hingga mencapai jawaban. 🌳

Setiap titik percabangan merupakan sebuah pemisahan, yaitu aturan seperti apakah usia lebih besar dari 30. Data mengalir ke kiri atau kanan berdasarkan pengujian tersebut.

Ketika tidak ada lagi pertanyaan yang berguna, Anda mencapai sebuah daun. Kelas yang dominan pada daun tersebut menjadi prediksi.

Pohon memilih setiap pemisahan agar kelompok menjadi semurni mungkin, yang diukur menggunakan kriteria seperti impuritas Gini atau entropi.

Salah satu kekuatan nyatanya adalah kemudahan interpretasi: Anda dapat mengikuti jalur pertanyaan dan menjelaskan dengan tepat alasan sebuah prediksi dibuat.

Jika tidak dikendalikan, pohon akan tumbuh dalam dan menghafal data pelatihan. Penyesuaian berlebih itu mengurangi akurasi pada baris baru yang belum pernah dilihat.

Anda dapat mengendalikan pohon dengan membatasi pertumbuhannya menggunakan max_depth, mengorbankan sedikit kecocokan pada pelatihan demi kemampuan generalisasi yang jauh lebih baik.

Hutan acak melatih banyak pohon dan membiarkan mereka memberikan suara. Hasil gabungannya jauh lebih stabil daripada satu pohon dalam mana pun.

Untuk menciptakan keragaman, setiap pohon dilatih menggunakan sampel acak baris dan subset acak fitur. Keragaman itulah rahasianya.

Di scikit-learn, ini cukup ditulis dalam satu baris. Tetapkan n_estimators untuk memilih jumlah pohon yang bergabung dalam ansambel.

Hutan yang telah dilatih memberi tahu input yang paling penting melalui feature_importances_, sebagai panduan singkat mengenai hal yang mendorong prediksi.

Mari pastikan alasan hutan meningkatkan hasil dibandingkan satu pohon.

Pohon keputusan mengajukan pertanyaan hingga mencapai sebuah daun; hutan acak memberikan suara di antara banyak pohon untuk mengurangi penyesuaian berlebih. 🎯