Dataforberedelse til AI

Manglende værdier kan medføre fejl eller skæve resultater. Her er nogle almindelige strategier:

• Sletning: Fjern rækker eller kolonner med for mange manglende data (vær forsigtig!).
• Imputering: Udfyld manglende værdier. Du kan bruge kolonnens gennemsnit, median eller typetal.
• Forudsigelse: Brug andre features til at forudsige og udfylde manglende værdier (mere avanceret).

Den bedste metode afhænger af dine data og AI-opgaven.

Dubletter betyder, at de samme oplysninger er registreret flere gange. Det kan gøre dit datasæt kunstigt større og give din model en skævhed.

Et eksempel er en kunde, der optræder to gange på en liste over 'nye tilmeldinger'.

Løsningen er enkel: Identificér og fjern de overflødige rækker. De fleste dataværktøjer har indbyggede funktioner til dette.

Uoverensstemmelser opstår, når de samme data repræsenteres forskelligt. Tænk på 'USA', 'U.S.A.' og 'United States', som alle betyder det samme land.

Det gælder også datoformater (f.eks. '10/01/2023' kontra 'Jan 10, 2023') eller enheder (f.eks. 'kg' kontra 'lbs').

Standardisering sikrer, at din AI-model fortolker dem korrekt.

Nogle AI-algoritmer, f.eks. K-Nearest Neighbors, er følsomme over for skalaen på numeriske features. En feature med værdier fra 1-1000 kan dominere en feature med værdier fra 0-1.

• Normalisering: Skalerer værdier til et fast interval, normalt fra 0 til 1.
• Standardisering: Omdanner data, så gennemsnittet bliver 0, og standardafvigelsen bliver 1.

Det hjælper med at forhindre, at features med større værdier får uforholdsmæssigt stor indflydelse på modellen.

AI-modeller fungerer bedst med tal. Kategoriske data (f.eks. 'Rød', 'Grøn', 'Blå' eller 'Lille', 'Mellem', 'Stor') skal konverteres.

• One-Hot Encoding: Opretter nye binære kolonner (0 eller 1) for hver kategori. F.eks. 'Color_Red', 'Color_Green'.
• Label Encoding: Tildeler hvert kategori en unik heltalsværdi. F.eks. Red=0, Green=1, Blue=2. Brug det med omtanke, da det antyder en rækkefølge.

Nogle gange er de oprindelige egenskaber ikke nok. Feature engineering handler om at oprette nye egenskaber ud fra eksisterende egenskaber for at forbedre modellens ydeevne.

Eksempler:

• Kombinér 'højde' og 'vægt' for at oprette 'BMI'.
• Udled 'måned' eller 'ugedag' fra en 'dato'-kolonne.
• Opret en 'aldersgruppe' ud fra en 'alder'-kolonne.

Det hjælper modellen med lettere at finde mønstre.

Før du træner din AI-model, skal du opdele dine klargjorte data i forskellige datasæt:

• Træningsdatasæt: Bruges til at lære modellen op.
• Valideringsdatasæt: Bruges til at justere modellens hyperparametre og forhindre overtilpasning under udviklingen.
• Testdatasæt: Et datasæt, modellen ikke har set før, som bruges til den endelige evaluering af modellens ydeevne.

Det sikrer, at din model generaliserer godt til nye data fra den virkelige verden.

Godt gået! I denne lektion har du arbejdet med den vigtige proces, der kaldes dataklargøring.

Du har lært om:

• Rensning af data (manglende værdier, dubletter og uoverensstemmelser).
• Transformering af data (skalering af egenskaber og kodning af kategoriske data).
• Grundlæggende feature engineering.
• Betydningen af at opdele data ved evaluering af modellen.

Data af høj kvalitet er grundlaget for effektiv AI. Bliv ved med at øve disse færdigheder!