의사결정 트리와 랜덤 포레스트

결정 트리는 특성에 관해 예·아니요 질문을 연속해서 던지고 답에 도달할 때까지 진행하여 분류합니다. 🌳

각 갈림점은 분할입니다. 예를 들어 나이가 30보다 큰지 묻는 규칙입니다. 데이터는 이 검사 결과에 따라 왼쪽이나 오른쪽으로 이동합니다.

더 유용한 질문이 남지 않으면 잎에 도달합니다. 그 잎에서 다수를 차지하는 클래스가 예측이 됩니다.

트리는 지니 불순도나 엔트로피 같은 기준으로 측정했을 때 그룹이 최대한 순수해지도록 각 분할을 선택합니다.

가장 큰 장점 중 하나는 해석 가능성입니다. 질문의 경로를 따라가며 예측이 나온 정확한 이유를 설명할 수 있습니다.

제한하지 않으면 트리는 깊게 자라 학습 데이터를 외워 버립니다. 이러한 과적합은 새롭고 보지 못한 행에서의 정확도를 떨어뜨립니다.

max_depth로 성장에 상한을 두면 트리를 제어할 수 있습니다. 학습 데이터에 대한 적합도를 조금 포기하는 대신 일반화 성능을 크게 높입니다.

랜덤 포레스트는 여러 트리를 학습시키고 투표하게 합니다. 여러 트리의 의견은 깊은 트리 하나보다 훨씬 안정적입니다.

다양성을 위해 각 트리는 행의 무작위 표본과 특성의 무작위 부분집합으로 학습합니다. 이 다양성이 핵심 비결입니다.

scikit-learn에서는 한 줄이면 됩니다. 앙상블에 참여할 트리 수를 n_estimators로 설정합니다.

학습된 포레스트는 feature_importances_를 통해 어떤 입력이 가장 중요했는지 알려 줍니다. 무엇이 예측을 이끄는지 빠르게 파악할 수 있습니다.

포레스트가 단일 트리보다 나은 이유를 확인해 보겠습니다.

결정 트리는 질문을 따라 잎까지 내려가고, 랜덤 포레스트는 여러 트리에 걸쳐 투표하여 과적합을 줄입니다. 🎯