Entscheidungsbäume und Random Forests

Ein decision tree klassifiziert, indem er eine Kette von Ja-oder-Nein-Fragen zu Ihren Merkmalen stellt, bis er eine Antwort erreicht. 🌳

Jeder Verzweigungspunkt ist eine Aufteilung, etwa die Regel „Ist das Alter größer als 30?“. Je nach diesem Test fließen die Daten nach links oder rechts.

Wenn keine nützlichen Fragen mehr übrig sind, erreichen Sie ein Blatt. Die Klasse, die in diesem Blatt dominiert, wird zur Vorhersage.

Ein Baum wählt jede Aufteilung so, dass die Gruppen möglichst rein sind. Gemessen wird dies anhand von Kriterien wie Gini-Unreinheit oder Entropie.

Eine große Stärke ist die Interpretierbarkeit: Sie können den Fragenpfad verfolgen und genau erklären, warum eine Vorhersage getroffen wurde.

Ohne Einschränkung wächst ein Baum in die Tiefe und merkt sich die Trainingsdaten. Diese Überanpassung verschlechtert die Genauigkeit bei neuen, unbekannten Zeilen.

Sie bändigen einen Baum, indem Sie sein Wachstum mit max_depth begrenzen. Dafür nehmen Sie eine etwas schlechtere Anpassung an die Trainingsdaten zugunsten einer deutlich besseren Generalisierung in Kauf.

Ein random forest trainiert viele Bäume und lässt sie abstimmen. Die Gruppe ist deutlich stabiler als jeder einzelne tiefe Baum.

Für mehr Vielfalt wird jeder Baum mit einer zufälligen Stichprobe von Zeilen und einer zufälligen Teilmenge von Merkmalen trainiert. Diese Vielfalt ist der entscheidende Vorteil.

In scikit-learn genügt dafür eine Zeile. Mit n_estimators legen Sie fest, wie viele Bäume zum Ensemble gehören.

Ein trainierter Wald zeigt über feature_importances_, welche Eingaben am wichtigsten waren – ein schneller Hinweis darauf, was die Vorhersagen beeinflusst.

Bestätigen wir, warum ein Wald besser ist als ein einzelner Baum.

Ein decision tree stellt Fragen bis zu einem Blatt; ein random forest stimmt über viele Bäume ab und verringert dadurch die Überanpassung. 🎯