Przygotowywanie danych na potrzeby AI

Proszę wyobrazić sobie przygotowywanie pysznego posiłku. Nie używaliby Państwo przecież zepsutych składników, prawda?

To samo dotyczy AI! Przygotowanie danych to proces oczyszczania i przekształcania surowych danych do czystego, użytecznego formatu dla modeli AI.

To kluczowy etap, ponieważ jakość danych bezpośrednio wpływa na wydajność i dokładność AI.

Surowe dane rzadko są idealne. Często zawierają problemy, które mogą wprowadzać modele AI w błąd.

• Brakujące wartości: luki w miejscach, w których powinny znajdować się dane.
• Niespójności: różne formaty tych samych informacji.
• Duplikaty: powtarzające się wpisy.
• Wartości odstające: skrajne wartości, które mogą zniekształcać wyniki.

Identyfikacja tych problemów to pierwszy krok.

Brakujące wartości mogą powodować błędy lub prowadzić do obciążonych wyników. Oto typowe strategie:

• Usuwanie: usunięcie wierszy lub kolumn zawierających zbyt wiele brakujących danych (należy zachować ostrożność!).
• Imputacja: uzupełnienie brakujących wartości. Można użyć średniej, mediany lub dominanty z danej kolumny.
• Predykcja: użycie innych cech do przewidzenia i uzupełnienia brakujących wartości (metoda bardziej zaawansowana).

Najlepsza metoda zależy od danych i zadania AI.

Duplikaty oznaczają, że te same informacje zostały zapisane wielokrotnie. Może to sztucznie zwiększyć zbiór danych i obciążyć model.

Przykładem może być klient występujący dwukrotnie na liście „nowych rejestracji”.

Rozwiązanie jest proste: należy zidentyfikować i usunąć zbędne wiersze. Większość narzędzi do pracy z danymi ma wbudowane funkcje do tego celu.

Niespójności występują, gdy te same dane są przedstawiane w różny sposób. Proszę pomyśleć o wartościach „USA”, „U.S.A.” i „United States”, które oznaczają ten sam kraj.

Dotyczy to również formatów dat (np. „10/01/2023” i „Jan 10, 2023”) oraz jednostek (np. „kg” i „lbs”).

Ujednolicenie tych danych gwarantuje, że model AI poprawnie je zinterpretuje.

Niektóre algorytmy AI, takie jak K-Nearest Neighbors, są wrażliwe na skalę cech liczbowych. Cecha przyjmująca wartości od 1 do 1000 może zdominować cechę o wartościach od 0 do 1.

• Normalizacja: skaluje wartości do ustalonego zakresu, zwykle od 0 do 1.
• Standaryzacja: przekształca dane tak, aby ich średnia wynosiła 0, a odchylenie standardowe 1.

Pomaga to zapobiec nieproporcjonalnemu wpływowi cech o większych wartościach na model.

Modele AI najlepiej działają z liczbami. Dane kategoryczne (takie jak „Red”, „Green”, „Blue” lub „Small”, „Medium”, „Large”) wymagają konwersji.

• Kodowanie one-hot: tworzy nowe kolumny binarne (0 lub 1) dla każdej kategorii. Np. „Color_Red”, „Color_Green”.
• Kodowanie etykiet: przypisuje każdej kategorii unikalną liczbę całkowitą. Np. Red=0, Green=1, Blue=2. Należy stosować je ostrożnie, ponieważ sugeruje kolejność.

Czasami surowe cechy nie wystarczają. Inżynieria cech to sztuka tworzenia nowych cech na podstawie istniejących w celu poprawy wydajności modelu.

Przykłady:

• Połączenie wartości „height” i „weight” w celu utworzenia wartości „BMI”.
• Wyodrębnienie „month” lub „day of week” z kolumny „date”.
• Utworzenie „age group” na podstawie kolumny „age”.

Dzięki temu model może łatwiej wykrywać wzorce.

Przed wytrenowaniem modelu AI należy podzielić przygotowane dane na różne zbiory:

• Zbiór treningowy: służy do uczenia modelu.
• Zbiór walidacyjny: służy do dostrajania hiperparametrów modelu i zapobiegania przeuczeniu podczas tworzenia modelu.
• Zbiór testowy: całkowicie nieznany wcześniej zbiór danych, używany do ostatecznej oceny wydajności modelu.

Dzięki temu model dobrze generalizuje na nowe dane pochodzące z rzeczywistego świata.

Poznali Państwo różne etapy przygotowywania danych. Teraz sprawdźmy, czy dobrze rozumieją Państwo ten temat.

Świetna praca! W tej lekcji omówiliśmy ważny proces przygotowywania danych.

Poznali Państwo:

• czyszczenie danych (brakujące wartości, duplikaty, niespójności),
• przekształcanie danych (skalowanie cech, kodowanie danych kategorycznych),
• podstawy inżynierii cech,
• znaczenie dzielenia danych podczas oceny modelu.

Wysokiej jakości dane stanowią podstawę skutecznej AI. Proszę dalej ćwiczyć te umiejętności!