Tests genereren met een prompt

Tests die alleen het gewenste pad bevestigen, geven een vals gevoel van zekerheid. Vraag eerst om de situaties die waarschijnlijk het snelst stukgaan: null-waarden, lege waarden, limieten en ongeldige invoer.

Een testsuite die foutscenario's doorloopt, ontdekt echte regressies. Het saaie succesgeval verrast zelden iemand.

Door de randgevallen voorop te zetten, zet je ook de fouten voorop.

Als je een model vraagt om tests tegen bestaande code te schrijven, kan het huidige foutieve gedrag als correct worden vastgelegd. De testsuite wordt groen terwijl de fout blijft bestaan.

Dit is de grootste valkuil bij het genereren van AI-tests. De test documenteert het defect in plaats van het te ontdekken.

Controleer altijd of elke bewering weerspiegelt wat je wilt, en niet alleen wat de code nu doet.

Leesbare tests volgen een duidelijke vorm: bereid de toestand voor, voer één actie uit en controleer één uitkomst. Modellen vervallen in megatests met meerdere beweringen die moeilijk te debuggen zijn wanneer ze falen.

Vraag om gerichte tests met beschrijvende namen die als specificaties lezen.

Een falende test moet alleen al aan zijn naam precies vertellen welk gedrag is gebroken.

AI mockt vaak te veel en haalt juist de logica die wordt getest eruit, totdat de test niets echts meer controleert. Of het mockt te weinig en maakt verbinding met een actieve database.

Mock op de systeemgrens: netwerk, klok, bestandssysteem en betaalprovider. Houd je eigen bedrijfslogica echt.

Geef de grens expliciet aan, zodat het model niet hoeft te gokken.

Voorbeeldtests controleren specifieke invoer; eigenschapstests controleren invarianten voor veel gegenereerde invoer. "Een lijst twee keer omkeren levert de oorspronkelijke lijst op" geldt voor elke lijst.

Als je het model om eigenschapstests vraagt, komen fouten aan het licht die handmatig gekozen voorbeelden missen, omdat het framework naar tegenvoorbeelden zoekt.

Gebruik ze waar invarianten duidelijk zijn: encoders, sorteerders, serializers en wiskunde.

Het dekkingspercentage is een kaart, niet het gebied zelf. Je kunt elke regel uitvoeren zonder iets betekenisvols te controleren. Modellen vullen testsuites graag op om een getal te halen.

Gebruik dekking om ongeteste vertakkingen te vinden en beoordeel daarna elke vertakking handmatig: is het de moeite waard om dit pad vast te leggen?

Richt je op tests die falen als het gedrag verkeerd is, niet op tests die de code alleen maar uitvoeren.

Een groene testsuite die elke codewijziging overleeft, is waardeloos. Mutatietests brengen kleine fouten aan en controleren of je tests die opmerken.

Als een mutant overleeft, leggen je tests dat gedrag niet echt vast. Het model kan mutaties voorstellen en jij controleert of je tests ze allemaal laten falen.

Zo meet je de kwaliteit van tests en niet alleen de hoeveelheid.

Onbetrouwbare tests ondermijnen het vertrouwen, totdat mensen fouten volledig negeren. De gebruikelijke boosdoeners zijn echte tijd, willekeurige zaden, netwerkoproepen en de volgorde van tests.

Vraag om deterministische tests: injecteer de klok, leg het zaad vast en isoleer de toestand tussen uitvoeringen. Een testsuite die je niet kunt vertrouwen, is erger dan geen testsuite.

Betrouwbaarheid is een eigenschap van de tests zelf.

Een goede testsuite doet ook dienst als documentatie. Nieuwe bijdragers, mens of AI, leren de regels van het systeem door de beweringen te lezen.

Houd testnamen en structuur duidelijk genoeg, zodat de testsuite het bedoelde gedrag zelfstandig uitlegt. Het model leest ze ook en schrijft daardoor betere code.

Je tests worden het duurzame geheugen dat het model mist.

Schrijf prompts voor tests op basis van gedrag en vereisten, niet op basis van de implementatie, zodat ze fouten ontdekken in plaats van vastleggen. Behandel fout- en grensgevallen als eerste, mock alleen op grenzen en gebruik eigenschaps- en mutatietests om de werkelijke sterkte te meten.

Houd de testsuite deterministisch en leesbaar, zodat die als levende specificatie dient. Vervolgens ga je op zoek naar beveiligingslekken die het model heeft achtergelaten.