Ekstrakcja cech z danych

Ekstrakcja cech polega na przekształcaniu surowych danych w zestaw cech, które mogą być wykorzystywane przez modele uczenia maszynowego. W tej lekcji omówiono podstawy inżynierii cech oraz typowe techniki wyodrębniania przydatnych cech z danych.

Czym jest ekstrakcja cech?

Ekstrakcja cech upraszcza surowe dane przez identyfikowanie kluczowych atrybutów, które są najbardziej istotne dla analizy. Zmniejsza złożoność danych i poprawia wydajność modelu.

Przykład:

• Wyodrębnianie miesiąca (month) i dnia (day) z kolumny daty (date).
• Obliczanie liczby słów (word count) na podstawie danych tekstowych.

Wyodrębnianie cech z dat

Za pomocą Pandas można wyznaczyć nowe cechy, takie jak rok (year), miesiąc (month) lub dzień (day), na podstawie kolumny zawierającej daty.

Przykład:

df['Year'] = pd.to_datetime(df['Date']).dt.year

Cechy oparte na tekście

W przypadku danych tekstowych można wyodrębnić między innymi:

• Liczbę słów: Łączną liczbę słów.
• Liczbę znaków: Łączną liczbę znaków.
• Unikalne słowa: Liczbę unikalnych słów.

Przykład:

df['WordCount'] = df['Text'].apply(lambda x: len(x.split()))

Kodowanie cech kategorycznych

Dane kategoryczne należy przekształcić do postaci liczbowej, aby można je było analizować. Typowe techniki to:

• One-Hot Encoding: Tworzy kolumny binarne dla każdej kategorii.
• Label Encoding: Przypisuje każdej kategorii unikalną liczbę.

Przykład:

from sklearn.preprocessing import OneHotEncoder encoder = OneHotEncoder() encoded = encoder.fit_transform(df[['Category']])

Skalowanie cech

Skalowanie zapewnia, że wszystkie cechy mają podobną skalę, co ma kluczowe znaczenie dla wielu algorytmów uczenia maszynowego. Stosowane techniki obejmują:

• Standaryzację: Skalowanie danych tak, aby średnia wynosiła 0, a odchylenie standardowe 1.
• Skalowanie min-maks: Przekształcanie danych do zakresu [0, 1].

Wybór cech

Wybór cech polega na wybraniu najważniejszych cech dla modelu. Stosowane techniki obejmują:

• Analizę korelacji: Identyfikowanie silnie skorelowanych cech.
• Rekurencyjną eliminację cech (RFE): Iteracyjne usuwanie najmniej istotnych cech.

Podsumowanie

W tej lekcji omówiono:

• Ekstrakcję cech: Przekształcanie surowych danych w użyteczne cechy.
• Techniki: Cechy dat, cechy oparte na tekście oraz kodowanie danych kategorycznych.
• Skalowanie cech: Zapewnianie cechom podobnych skal.
• Wybór cech: Identyfikowanie najbardziej istotnych cech.

Gratulacje!

Ukończono lekcję dotyczącą ekstrakcji cech z danych. Przejdź do następnej kategorii, aby poznać bardziej zaawansowane zagadnienia związane ze sztuczną inteligencją.