Uw datapipeline unit-testen
Controleer shapes, typen en bereiken met pytest.
Uw datapipeline unit-testen is een gratis MLOps Academy-les op CoddyKit. Dit is les 1 van 4. Je kunt de volledige les hieronder gratis lezen en daarna in de browser praktisch oefenen met een ingebouwde code-editor en een AI-begeleider die 24/7 beschikbaar is. Deze les maakt deel uit van het leertraject MLOps Academy. Je voortgang wordt gesynchroniseerd op het web en in de CoddyKit-app. De cursus MLOps Academy bevat in totaal 4 lessen.
Test de data, niet alleen het model
De meeste ML-bugs zitten in de datapijplijn, niet in het model. Met een paar goedkope unittests voor je data ontdek je problemen al ruim vóór de training. 🧪
Wat pytest je biedt
Je schrijft tests als gewone functies en laat pytest ze vinden en uitvoeren. Elke mislukte assert wordt een duidelijk, leesbaar foutenrapport.
Opbouw van een datatest
Een datatest laadt een voorbeeld, roept je transformatie aan en controleert daarna een verwachting. Het belangrijkste hulpmiddel is de assert-instructie die bepaalt of de test slaagt of faalt.
def test_no_nulls(df):
assert df["age"].notna().all()Controleer de vorm
Pijplijnen verwijderen of voegen stilletjes kolommen toe. Leg de vorm vast, zodat een dataframe met 10 kolommen nooit ongemerkt als dataframe met 9 kolommen doorgaat.
def test_shape(df):
assert df.shape[1] == 10Controleer de kolomtypen
Een getal dat als tekst wordt ingelezen, verstoort de training stilletjes. Leg het dtype van elke kolom vast, zodat een verschuiving in het type de test laat falen in plaats van het model.
def test_dtype(df):
assert df["price"].dtype == "float64"Controleer redelijke bereiken
Bescherm je tegen onmogelijke waarden. Een controle van het bereik voorkomt dat een negatieve leeftijd of een waarschijnlijkheid van 300% ooit je model bereikt.
def test_range(df):
assert df["age"].between(0, 120).all()Vang lege waarden op
Ontbrekende waarden zijn de meest voorkomende databug. Controleer dat kritieke kolommen geen lege waarden bevatten of dat het aantal lege waarden onder een bekende drempel blijft.
Gebruik kleine testgegevens
Tests moeten in milliseconden worden uitgevoerd. Een pytest-testgegeven maakt een klein, handmatig samengesteld dataframe, zodat tests snel blijven en nooit echte data aanraken.
import pytest
@pytest.fixture
def df():
return load_sample()Test elke transformatie afzonderlijk
Test één stap tegelijk, zodat fouten naar de exacte oorzaak wijzen. Dit is unit testing: klein, geïsoleerd en snel te debuggen.
Voer de testsuite uit
Eén commando voert elke test uit en drukt een groen of rood overzicht af. Voer pytest lokaal uit en daarna bij elke push opnieuw in CI.
# in your terminal
pytest -qTest bewust randgevallen
Geef een leeg dataframe, één rij of invoer die volledig uit lege waarden bestaat. Goede tests voor een randgeval bewijzen dat je pijplijn duidelijk faalt in plaats van stilletjes.
Korte controle
Welke controle beschermt het best tegen een kolom die als het verkeerde type wordt ingelezen?
Samenvatting: tests vangen databugs op
Je test data nu met pytest: je controleert vorm, typen, bereiken en lege waarden op kleine testgegevens, zodat slechte data de build laat falen en niet je gebruikers. ✅
Leer Python met een AI-tutor — gratis
Schrijf echte code en voer die uit in je browser, krijg direct hulp van een AI-tutor die 24/7 beschikbaar is en ga verder waar je gebleven bent op het web of in de app.
- Cursussen
- 30
- Lessen
- 120
Veelgestelde vragen
Is de les “Uw datapipeline unit-testen” gratis?
Ja — de volledige tekst van “Uw datapipeline unit-testen” kun je hier gratis op het web lezen. Als je interactief wilt oefenen met een ingebouwde code-editor en een AI-begeleider die 24/7 beschikbaar is, en de rest van de cursus MLOps Academy wilt ontgrendelen, kun je upgraden naar CoddyKit PRO. De cursus MLOps Academy bevat in totaal 4 lessen.
Wat leer ik in “Uw datapipeline unit-testen”?
Controleer shapes, typen en bereiken met pytest. Je oefent met MLOps Academy door code rechtstreeks in de browser uit te voeren. Een AI-begeleider die 24/7 beschikbaar is beantwoordt je vragen terwijl je de les doorwerkt.
Heb ik ervaring nodig om met MLOps Academy te beginnen?
Ervaring vooraf is niet nodig. MLOps Academy op CoddyKit is opgebouwd voor beginners tot gevorderden, zodat je hier of bij het begin kunt starten en in je eigen tempo kunt leren. Dit is les 1 van 4.
Hoe lang duurt de les “Uw datapipeline unit-testen”?
De meeste lessen van CoddyKit duren ongeveer 5–10 minuten. Elke les is kort en interactief, zodat je gestaag vooruitgaat en op het web en in de app precies verdergaat waar je was gebleven.
Kan ik code schrijven en uitvoeren in deze les over MLOps Academy?
Ja. Elke les over MLOps Academy bevat een ingebouwde code-editor, zodat je rechtstreeks in je browser echte code kunt schrijven en uitvoeren en direct feedback van AI krijgt — lokale installatie is niet nodig.
Alle lessen in deze cursus
- Uw datapipeline unit-testen
- Gedragstests voor modellen
- Kwaliteitsgates en drempelwaarden instellen
- Data valideren met Great Expectations