AIのためのデータ準備

おいしい料理を作るところを想像してください。腐った食材は使いませんよね？

AIでも同じです！データ準備とは、生データをAIモデルで使える、きれいで扱いやすい形式にクリーニング・変換するプロセスです。

データの品質はAIのパフォーマンスと精度に直接影響するため、非常に重要な工程です。

生データが最初から完璧な状態であることは、ほとんどありません。AIモデルを誤らせる問題が含まれていることがよくあります。

• 欠損値：データが入るべき場所の空白
• 不整合：同じ情報が異なる形式で表現されている状態
• 重複：同じ項目が繰り返し記録されている状態
• 外れ値：結果をゆがめる可能性がある極端な値

まずは、これらの問題を特定することから始めます。

欠損値は、エラーや偏った結果の原因になることがあります。一般的な対処方法は次のとおりです。

• 削除：欠損データが多すぎる行や列を削除します（慎重に使用してください！）。
• 補完：欠損値を埋めます。列の平均値、中央値、最頻値などを使用できます。
• 予測：他の特徴量を使って欠損値を予測し、埋めます（より高度な方法です）。

最適な方法は、データとAIタスクによって異なります。

重複した項目があると、同じ情報が複数回記録されていることになります。これによりデータセットが実際より大きく見え、モデルに偏りが生じる可能性があります。

たとえば、「new sign-ups」リストに同じ顧客が2回登場するケースです。

解決策は単純です。重複した行を特定して削除します。ほとんどのデータツールには、このための組み込み関数があります。

同じデータが異なる形式で表現されていると、不整合が発生します。「USA」、「U.S.A.」、「United States」は、すべて同じ国を意味することを考えてみてください。

これは日付形式（例：「10/01/2023」と「Jan 10, 2023」）や単位（例：「kg」と「lbs」）にも当てはまります。

これらを標準化すると、AIモデルが正しく解釈できるようになります。

K-Nearest Neighborsなど、一部のAIアルゴリズムは数値特徴量のスケールに敏感です。1～1000の値を持つ特徴量は、0～1の値を持つ特徴量より大きな影響を与える可能性があります。

• 正規化：値を通常0から1までの固定範囲に変換します。
• 標準化：データの平均を0、標準偏差を1に変換します。

これにより、値の大きい特徴量がモデルに不均衡な影響を与えるのを防げます。

AIモデルは数値を使うと最も適切に動作します。そのため、「Red」、「Green」、「Blue」や「Small」、「Medium」、「Large」のようなカテゴリデータは変換する必要があります。

• One-Hot Encoding：カテゴリごとに新しいバイナリ（0または1）の列を作成します。例：「Color_Red」、「Color_Green」
• Label Encoding：各カテゴリに一意の整数を割り当てます。例：Red=0、Green=1、Blue=2。順序があることを暗黙に示すため、注意して使用してください。

生の特徴量だけでは不十分な場合があります。特徴量エンジニアリングとは、モデルの性能を向上させるために、既存の特徴量から新しい特徴量を作成する技術です。

例：

• 「身長」と「体重」を組み合わせて「BMI」を作成する。
• 「日付」列から「月」や「曜日」を抽出する。
• 「年齢」列から「年齢グループ」を作成する。

これにより、モデルはパターンをより簡単に見つけられるようになります。

AIモデルを学習させる前に、準備したデータを複数のセットに分割する必要があります。

• 学習セット：モデルの学習に使用します。
• 検証セット：モデルのハイパーパラメーターの調整や、開発中の過学習の防止に使用します。
• テストセット：モデルの性能を最終評価するために使用する、まったく未知のデータセットです。

これにより、モデルが新しい実世界のデータに対しても適切に汎化できるようになります。

さまざまなデータ準備の手順について学びました。ここで、理解度を確認しましょう。

よくできました。このレッスンでは、重要なプロセスであるデータ準備について学びました。

次の内容を学習しました。

• データのクリーニング（欠損値、重複、不整合）。
• データの変換（特徴量のスケーリング、カテゴリーデータのエンコード）。
• 基本的な特徴量エンジニアリング。
• モデル評価におけるデータ分割の重要性。

高品質なデータは、効果的なAIの基盤です。これらのスキルを練習し続けましょう。