データの正規化

データの正規化により、データセット内のすべての特徴量のスケールを同程度にそろえます。これは、勾配降下法などのアルゴリズムや距離ベースのモデルにとって重要です。このレッスンでは、標準化とスケーリングの手法について学びます。

データを正規化する理由

正規化により、すべての特徴量がモデルに等しく寄与できるようになります。正規化しない場合、スケールの大きい特徴量が学習過程に大きな影響を与える可能性があります。

例:

• 年齢（0～100）と収入（0～100,000）は、比較可能な範囲にスケーリングする必要があります。

標準化

標準化では、データの平均を0、標準偏差を1に変換します。次の式で計算します。

z = (x - mean) / std_dev

標準化は、ロジスティック回帰やSVMなどのアルゴリズムに適しています。

Min-Max スケーリング

Min-Maxスケーリングでは、データを通常[0, 1]のような固定範囲に変換します。次の式で計算します。

x_scaled = (x - min) / (max - min)

この手法は、データを一定の範囲内に収める必要がある場合に使用します。

Pythonにおける正規化（標準化）

StandardScalerをsklearn.preprocessingから使用して、データを標準化します。

例:

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() data_scaled = scaler.fit_transform(data)

Pythonにおける正規化（Min-Maxスケーリング）

MinMaxScalerをsklearn.preprocessingから使用して、Min-Maxスケーリングを適用します。

例:

from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() data_scaled = scaler.fit_transform(data)

正規化手法の選択

手法を選択するときは、次の点を考慮します:

• 標準化: データに外れ値が含まれる場合に使用します。
• Min-Maxスケーリング: 特徴量を一定の範囲に収める必要がある場合に使用します。

まとめ

このレッスンでは、次の内容を学びました:

• 標準化: 平均0、標準偏差1になるようにデータをスケーリングすること。
• Min-Maxスケーリング: データを一定の範囲に変換すること。
• PythonでStandardScalerとMinMaxScalerを使用する方法。

おめでとうございます！

データの正規化に関するレッスンを完了しました。次のレッスンに進み、Pythonでのデータのマージについて学びましょう。