Hvorfor De holder et testsæt tilbage

En model, der husker dine data, ser imponerende ud på dem. Det egentlige spørgsmål er, hvordan den klarer sig på data, den aldrig har set.

Derfor gemmer du en del af dine data og træner aldrig på dem. Dette aflåste udsnit er dit testsæt, som gemmes til allersidst.

Modellen lærer kun fra træningssættet. Derefter vurderer du den på det uberørte testsæt for at se, hvordan den faktisk generaliserer. 🎯

At vurdere modellen på de samme rækker, som den har lært fra, svarer til at rette en test med facitlisten liggende fremme. Det tal smigrer modellen og overvurderer dens evner.

Du er ikke interesseret i, hvor godt den passer til gamle data. Du er interesseret i generalisering: at lave gode forudsigelser på morgendagens nye, usete rækker.

Når en model rammer træningsdata perfekt, men klarer sig dårligt på testsættet, er den ramt af overfitting. Den har husket støj i stedet for at lære det egentlige mønster.

Et enkelt og populært valg er at træne på omkring 80 % af rækkerne og teste på de resterende 20 %. Mere data at lære fra og nok tilbage til en fair vurdering.

Testsættet er helligt. Hvis du bliver ved med at kigge og justere, indtil scoren ser god ud, har du stille og roligt lækket det ind i dine beslutninger.

I scikit-learn klarer én hjælpefunktion opdelingen for dig. Den blander dine data og opdeler dem i trænings- og testdele med ét enkelt kald.

Scoren på testsættet er dit ærlige estimat af ydeevnen i den virkelige verden. Stol mere på den end på enhver strålende træningsscore.

At holde data ude er ikke bureaukrati. Det er den ene vane, der forhindrer dig i at sende en model ud, som kun nogensinde har virket på papiret.

Du opdeler data, lærer på træningsdelen og vurderer på et helligt testset. Den uberørte del giver dig et ærligt billede af evnerne i den virkelige verden. 🎯