勾配ブースティング：GBM と XGBoost

バギングでは木を並列に学習させ、その結果を平均します。一方、ブースティングでは木を逐次的に学習させ、新しい木がそれまでの木の誤りを修正します。

ブースティングはバイアスを低減するため、構造化データではバギングより高い精度が得られることがよくあります。

勾配ブースティングでは、浅い木（弱学習器）を組み合わせたアンサンブルを構築します。各木は、現在のアンサンブルに残された残差（損失の勾配）に適合します。

小さな補正を数多く追加することで、全体として強力なモデルを構築します。

Scikit-learn には GradientBoostingClassifier が用意されています。主なパラメータは、木の数を指定する n_estimators、縮小率を指定する learning_rate、木のサイズを指定する max_depth です。

learning_rate は各木の寄与をスケーリングします。学習率を小さくするとより多くの木が必要になりますが、通常は汎化性能が向上します。

一般的な戦略は、低い学習率（例: 0.05）と多数の推定器を設定し、早期停止を利用することです。

ブースティングでは各木が弱学習器であるため、max_depth は通常 3 から 6 に設定します。深い木を使うと残差にすぐ過適合してしまいます。アンサンブルは少数の深い木ではなく、多数の浅い木によって強くなります。

XGBoost は最適化された勾配ブースティングライブラリです。より高速で、正則化機能を備え、欠損値も組み込みで処理できます。表形式の機械学習コンペティションで優れた成績を収めています。

主要な調整項目は GBM と共通しています。

• n_estimators ブースティングのラウンド数
• learning_rate 各ラウンドでの縮小率
• max_depth 木の深さ
• subsample と colsample_bytree は正則化のためにランダム性を加えます

XGBoost は、L1 ペナルティ（reg_alpha）と L2 ペナルティ（reg_lambda）に加えて、分割に必要な最小損失減少量を指定する gamma を追加します。これらによってモデルの複雑さを制御し、通常の GBM よりも過適合を抑えられます。

early_stopping_rounds は、検証指標が N ラウンド連続で改善しなくなったときに学習を停止します。これにより適切な木の数を自動的に見つけ、過適合を防げます。

XGBoost には feature_importances_ と、gain や weight などの重要度タイプに対応した、より詳細な get_booster().get_score() があります。gain は、特徴量によって損失がどれだけ改善されたかを表します。

勾配ブースティングは、適切にチューニングすれば表形式データでランダムフォレストを上回ることがよくあります。その代わり、ハイパーパラメータの影響を受けやすく、逐次学習のため時間がかかります。まずは XGBoost のデフォルト設定から始め、learning_rate と max_depth を調整し、早期停止を利用してください。

ブースティングに関する知識を確認しましょう。

まとめ: ブースティングでは木を逐次的に学習させ、それぞれが以前の誤りを修正します。n_estimators、learning_rate（低い学習率と多数の木）、小さな max_depth を調整しましょう。XGBoost は正則化（reg_alpha、reg_lambda、gamma）と early_stopping_rounds を追加し、最適な木の数を自動的に選べます。