データからの特徴量抽出

特徴量抽出とは、生データを機械学習モデルで利用できる特徴量の集合に変換する処理です。このレッスンでは、特徴量エンジニアリングの基本と、データから有用な特徴量を抽出する一般的な手法を学びます。

特徴量抽出とは

特徴量抽出では、分析に最も関連する主要な属性を特定して生データを簡略化します。これにより、データの複雑さを軽減し、モデルの性能を向上させます。

例:

• date列からmonthとdayを抽出する。
• テキストデータからword countを計算する。

日付からの特徴量抽出

Pandasを使うと、日付列からyear、month、dayなどの新しい特徴量を作成できます。

例：

df['Year'] = pd.to_datetime(df['Date']).dt.year

テキストベースの特徴量

テキストデータからは、次のような特徴量を抽出できます：

• 単語数：単語の総数。
• 文字数：文字の総数。
• ユニークな単語：重複しない単語の数。

例：

df['WordCount'] = df['Text'].apply(lambda x: len(x.split()))

カテゴリ特徴量のエンコーディング

カテゴリデータを分析用の数値形式に変換します。一般的な手法には次のようなものがあります。

• One-Hotエンコーディング: カテゴリごとにバイナリ列を作成します。
• Labelエンコーディング: 各カテゴリに一意の番号を割り当てます。

例:

from sklearn.preprocessing import OneHotEncoder encoder = OneHotEncoder() encoded = encoder.fit_transform(df[['Category']])

特徴量スケーリング

スケーリングによって、すべての特徴量を同程度の尺度にそろえます。これは多くの機械学習アルゴリズムで重要です。主な手法には次のものがあります。

• 標準化：データの平均を0、標準偏差を1にそろえます。
• Min-Maxスケーリング：データを[0, 1]の範囲に変換します。

特徴量選択

特徴量選択とは、モデルにとって最も重要な特徴量を選ぶ処理です。次のような手法があります。

• 相関分析：相関の高い特徴量を特定します。
• 再帰的特徴量削除（RFE）：重要度の低い特徴量を繰り返し削除します。

復習

このレッスンでは、次の内容を学びました。

• 特徴量抽出：生データを有用な特徴量に変換することです。
• 手法：日付の特徴量、テキストベースの特徴量、カテゴリデータのエンコードについて学びました。
• 特徴量スケーリング：特徴量の尺度を同程度にそろえることです。
• 特徴量選択：最も関連性の高い特徴量を特定することです。

おめでとうございます

データからの特徴量抽出に関するレッスンを完了しました。次のカテゴリに進み、より高度なAIの概念について理解を深めましょう。