Arbres de décision et forêts aléatoires

Un arbre de décision classe les données en posant une série de questions par oui ou non sur vos variables, jusqu’à parvenir à une réponse. 🌳

Chaque embranchement est une séparation, une règle telle que « l’âge est-il supérieur à 30 ? ». Les données vont à gauche ou à droite selon ce test.

Lorsqu’il ne reste plus de question utile, vous atteignez une feuille. La classe majoritaire de cette feuille devient la prédiction.

Un arbre choisit chaque séparation pour rendre les groupes aussi purs que possible, selon des critères tels que l’impureté de Gini ou l’entropie.

L’un de ses grands atouts est son interprétabilité : vous pouvez suivre le chemin des questions et expliquer exactement pourquoi une prédiction a été produite.

Si rien ne l’arrête, un arbre devient très profond et mémorise les données d’entraînement. Ce surajustement nuit à la précision sur de nouvelles lignes jamais vues.

Vous maîtrisez un arbre en limitant sa croissance avec max_depth, au prix d’un ajustement légèrement moindre aux données d’entraînement, mais avec une généralisation bien meilleure.

Une forêt aléatoire entraîne de nombreux arbres et les fait voter. Le groupe est bien plus stable que n’importe quel arbre profond pris isolément.

Pour créer de la diversité, chaque arbre s’entraîne sur un échantillon aléatoire de lignes et un sous-ensemble aléatoire de variables. Cette diversité est le secret de la méthode.

Dans scikit-learn, cela tient en une ligne. Définissez n_estimators pour choisir le nombre d’arbres qui rejoignent l’ensemble.

Une forêt entraînée vous indique quelles variables d’entrée ont le plus compté grâce à feature_importances_ : un aperçu rapide de ce qui détermine les prédictions.

Un arbre de décision pose des questions jusqu’à une feuille ; une forêt aléatoire fait voter de nombreux arbres pour réduire le surajustement. 🎯