Gegevens voorbereiden voor AI

Ontbrekende waarden kunnen fouten of bevooroordeelde resultaten veroorzaken. Dit zijn veelgebruikte strategieën:

• Verwijderen: Verwijder rijen of kolommen met te veel ontbrekende gegevens (wees voorzichtig!).
• Imputatie: Vul ontbrekende waarden in. U kunt het gemiddelde, de mediaan of de modus van de kolom gebruiken.
• Voorspellen: Gebruik andere kenmerken om ontbrekende waarden te voorspellen en in te vullen (geavanceerder).

De beste methode hangt af van uw gegevens en de AI-taak.

Dubbele vermeldingen betekenen dat dezelfde informatie meerdere keren is vastgelegd. Hierdoor kan uw gegevensverzameling groter lijken en kan uw model bevooroordeeld raken.

Een klant die bijvoorbeeld twee keer voorkomt in een lijst met 'nieuwe aanmeldingen'.

De oplossing is eenvoudig: herken deze overbodige rijen en verwijder ze. De meeste hulpmiddelen voor gegevensverwerking hebben hiervoor ingebouwde functies.

Inconsistenties ontstaan wanneer dezelfde gegevens op verschillende manieren worden weergegeven. Denk aan 'USA', 'U.S.A.' en 'United States', die allemaal hetzelfde land betekenen.

Dit geldt ook voor datumnotaties (bijvoorbeeld '10/01/2023' tegenover 'Jan 10, 2023') of eenheden (bijvoorbeeld 'kg' tegenover 'lbs').

Door deze gegevens te standaardiseren zorgt u ervoor dat uw AI-model ze correct interpreteert.

Sommige AI-algoritmen, zoals K-Nearest Neighbors, zijn gevoelig voor de schaal van numerieke kenmerken. Een kenmerk met waarden van 1 tot 1000 kan een kenmerk met waarden van 0 tot 1 overheersen.

• Normalisatie: Schaal waarden naar een vast bereik, meestal van 0 tot 1.
• Standaardisatie: Zet gegevens om zodat het gemiddelde 0 en de standaardafwijking 1 is.

Dit helpt voorkomen dat kenmerken met grotere waarden een buitenproportionele invloed op het model hebben.

AI-modellen werken het best met getallen. Categorische gegevens (zoals 'Rood', 'Groen', 'Blauw' of 'Klein', 'Middelgroot', 'Groot') moeten worden omgezet.

• One-hotcodering: Maakt voor elke categorie nieuwe binaire kolommen (0 of 1). Bijvoorbeeld 'Color_Red' en 'Color_Green'.
• Labelcodering: Wijst aan elke categorie een uniek geheel getal toe. Bijvoorbeeld Rood=0, Groen=1, Blauw=2. Gebruik dit zorgvuldig, omdat het een volgorde impliceert.

Soms zijn de onbewerkte kenmerken niet voldoende. Feature-engineering is de kunst om nieuwe kenmerken te maken op basis van bestaande kenmerken, zodat de prestaties van het model verbeteren.

Voorbeelden:

• 'height' en 'weight' combineren om 'BMI' te maken.
• 'month' of 'day of week' uit een kolom met 'date' halen.
• Een 'age group' maken op basis van een kolom met 'age'.

Zo kan het model patronen gemakkelijker vinden.

Voordat je je AI-model traint, moet je je voorbereide gegevens opsplitsen in verschillende sets:

• Trainingsset: Wordt gebruikt om het model te trainen.
• Validatieset: Wordt gebruikt om de hyperparameters van het model af te stemmen en overfitting tijdens de ontwikkeling te voorkomen.
• Testset: Een volledig ongeziene gegevensset die wordt gebruikt voor de uiteindelijke evaluatie van de prestaties van het model.

Zo zorg je ervoor dat je model goed generaliseert naar nieuwe gegevens uit de echte wereld.

Goed gedaan! In deze les hebben we het belangrijke proces van gegevensvoorbereiding verkend.

Je hebt geleerd over:

• Gegevens opschonen (ontbrekende waarden, duplicaten, inconsistenties).
• Gegevens transformeren (schalen van kenmerken, categorische gegevens coderen).
• Basisprincipes van feature-engineering.
• Het belang van gegevens opsplitsen voor modelevaluatie.

Gegevens van hoge kwaliteit vormen de basis van doeltreffende AI. Blijf deze vaardigheden oefenen!