Ekstrakcja cech z danych

Ekstrakcja cech polega na przekształcaniu surowych danych w zestaw cech, które mogą być wykorzystywane przez modele uczenia maszynowego. W tej lekcji omówiono podstawy inżynierii cech oraz typowe techniki wyodrębniania przydatnych cech z danych.

Czym jest ekstrakcja cech?

Ekstrakcja cech upraszcza surowe dane poprzez identyfikowanie najważniejszych atrybutów, które mają największe znaczenie dla analizy. Zmniejsza złożoność danych i poprawia wydajność modelu.

Przykład:

• Wyodrębnianie wartości month i day z kolumny date.
• Obliczanie word count na podstawie danych tekstowych.

Wyodrębnianie cech z dat

Za pomocą Pandas można wyprowadzić z kolumny z datami nowe cechy, takie jak year, month lub day.

Przykład:

df['Year'] = pd.to_datetime(df['Date']).dt.year

Cechy tekstowe

W przypadku danych tekstowych można wyodrębnić takie cechy, jak:

• Liczba słów: Łączna liczba słów.
• Liczba znaków: Łączna liczba znaków.
• Unikalne słowa: Liczba unikalnych słów.

Przykład:

df['WordCount'] = df['Text'].apply(lambda x: len(x.split()))

Kodowanie cech kategorycznych

Przekształć dane kategoryczne do postaci numerycznej na potrzeby analizy. Do typowych technik należą:

• Kodowanie one-hot: Tworzy binarne kolumny dla każdej kategorii.
• Kodowanie etykiet: Przypisuje każdej kategorii unikatową liczbę.

Przykład:

from sklearn.preprocessing import OneHotEncoder encoder = OneHotEncoder() encoded = encoder.fit_transform(df[['Category']])

Skalowanie cech

Skalowanie zapewnia cechom podobny zakres wartości, co ma kluczowe znaczenie dla wielu algorytmów uczenia maszynowego. Techniki obejmują:

• Standaryzację: Skalowanie danych tak, aby średnia wynosiła 0, a odchylenie standardowe 1.
• Skalowanie Min-Max: Przekształcanie danych do zakresu [0, 1].

Wybór cech

Wybór cech polega na wybraniu najważniejszych cech dla modelu. Techniki obejmują:

• Analizę korelacji: Identyfikowanie silnie skorelowanych cech.
• Rekurencyjną eliminację cech (RFE): Iteracyjne usuwanie najmniej istotnych cech.

Podsumowanie

W tej lekcji poznali Państwo:

• Ekstrakcja cech: Przekształcanie surowych danych w użyteczne cechy.
• Techniki: Cechy daty, cechy tekstowe i kodowanie danych kategorialnych.
• Skalowanie cech: Zapewnianie cechom podobnych skal.
• Wybór cech: Identyfikowanie najistotniejszych cech.

Gratulacje!

Ukończyli Państwo lekcję na temat ekstrakcji cech z danych. Proszę przejść do następnej kategorii, aby zgłębić bardziej zaawansowane koncepcje sztucznej inteligencji.