Gedragstests voor modellen

Eén nauwkeurigheidsscore verbergt hoe een model zich echt gedraagt. Gedragstests onderzoeken hoe voorspellingen reageren wanneer je de invoer bewust wijzigt.

Gedragstests controleren alleen invoer en uitvoer en negeren de interne werking van het model. Deze black-box-benadering werkt voor elk framework waarin je het model serveert.

Sommige wijzigingen mogen de voorspelling helemaal niet veranderen. Een invariantietest vervangt een neutraal woord en controleert of de uitvoer hetzelfde blijft.

Andere wijzigingen moeten de uitvoer op een bekende manier veranderen. Een test voor de richting voegt een positief woord toe en controleert of de score stijgt en niet daalt.

Controleer de eenvoudige gevallen die een model nooit mag missen. Een test voor minimale functionaliteit controleert of een duidelijk voorbeeld het voor de hand liggende label krijgt.

Deze drie testtypen komen uit het CheckList-artikel voor NLP. Het patroon is ook toepasbaar op tabeldata, beeldherkenning en elk model dat je uitbrengt.

Voer dezelfde casus uit voor verschillende groepen. Een test per deelgroep controleert of de voorspellingskwaliteit gelijk blijft wanneer alleen een gevoelig kenmerk verandert.

Voeg een typefout toe of verstoor een getal een beetje, en het label moet hetzelfde blijven. Een robuustheidstest beschermt tegen kleine, onschadelijke verstoringen.

Leg de uitvoer voor een vast voorbeeld vast, zodat nieuwe trainingen die niet stilletjes veranderen. Deze regressietest signaleert onverwachte gedragsveranderingen.

Gedragstests zijn gewone pytest-functies. Ze staan naast je datatests en worden bij elke push in dezelfde CI-stap uitgevoerd.

Elke gedragstest is een geschreven regel waaraan het model moet voldoen. Samen vormen ze een levende specificatie van het verwachte gedrag.

Je voert nu gedragstests uit: invariantie-, richting- en minimale-functionaliteitstests die verwacht modelgedrag omzetten in controles die CI afdwingt. ✅