Stille fejl: Intet nedbrud, forkerte svar

En skjult fejl er den værste slags: Din tjeneste returnerer et helt gyldigt svar, men forudsigelsen i det er simpelthen forkert. 😬

Almindelig software råber, når den går i stykker. ML-modeller går næsten aldrig ned; de giver bare et tal som output. Et forkert tal ser nøjagtig ud som et rigtigt.

En manglende egenskab, der udfyldes med en skjult standardværdi, giver stadig et output. Modellen forudsiger gladeligt ud fra en falsk værdi, uden at nogen opdager det.

Send en pris i øre, når modellen blev trænet på kroner, og den giver stadig et selvsikkert svar. Uoverensstemmelser mellem enheder udløser aldrig fejl; de vildleder bare.

En ødelagt arbejdsgang kan få en klassifikator til at forudsige den samme klasse hver gang. Nøjagtigheden kan stadig se fin ud, hvis den klasse er almindelig. Det er et snigende sammenbrud.

Du får ofte først den rigtige mærkning flere dage senere, f.eks. om et lån endte i misligholdelse. Indtil da kan modellen være forkert i lang tid uden at blive opdaget.

Et forsvar er at kontrollere, at output ligger inden for et fornuftigt interval. En forudsagt sandsynlighed uden for nul til én er et tydeligt alarmsignal, som er værd at opdage.

Følg fordelingen af forudsigelser over tid. Hvis den gennemsnitlige score pludselig stiger, er der sandsynligvis noget tidligere i systemet, der er gået galt. Det kaldes overvågning af output.

Afvis umulige input, før de når modellen. En negativ alder eller en tom tekststreng skal fejle hurtigt og ikke ende i en skjult forudsigelse.

Kør en enkel referencemodel ved siden af din model. Hvis de to er meget uenige, er forskellen en billig alarm på en skjult fejl.

Skjulte fejl forbliver kun skjulte, hvis du aldrig kigger efter dem. Sæt alarmer op for inputkontroller og outputstatistik, så systemet giver dig besked først.

Modeller fejler ubemærket i stedet for tydeligt. Valider input, begræns output, hold øje med forudsigelsesfordelinger, og giv besked, så skjulte fejl ikke længere kan gemme sig. ✅