Metrieken uitsplitsen per segment en cohort

Een model met 95% algemene nauwkeurigheid kan nog steeds voor één groep ernstig tekortschieten. Het gemiddelde verbergt gebieden met slechte prestaties. 🕵️

Een deelgroep is een subset van je gegevens die een bepaalde eigenschap deelt: een regio, apparaattype, leeftijdscategorie of productcategorie.

Een segment groepeert op basis van een kenmerkwaarde, zoals een land. Een cohort groepeert op basis van een gedeelde gebeurtenis in de tijd, zoals gebruikers die zich afgelopen maart hebben aangemeld.

Bereken niet één nauwkeurigheidsgetal, maar de statistiek per deelgroep en vergelijk de resultaten. Met een pandas groupby ben je snel klaar.

Wanneer één deelgroep veel lager scoort dan de rest, heb je een zwakke plek gevonden die de algemene statistiek stilletjes verborg.

Een deelgroep met zeer weinig steekproeven levert een onbetrouwbare statistiek op. Stel een minimumgrootte in voordat je de waarde ervan vertrouwt.

Door deelgroepen uit gevoelige groepen te vergelijken, breng je verschillen in eerlijkheid aan het licht, zoals consequent slechtere voorspellingen voor één demografische groep.

Drift kan eerst slechts één deelgroep raken. Door drift per segment te volgen, merk je een verschuiving bij mobiele gebruikers op voordat die zich overal verspreidt.

Deelgroepen handmatig controleren schaalt niet. Hulpmiddelen voor het vinden van deelgroepen doorzoeken veel subsets en markeren de slechtst presterende voor je.

Door een cohort wekenlang te volgen, zie je of het model slechter presteert voor nieuwere gebruikers wanneer hun gedrag afwijkt van dat van oudere gebruikers.

Een slechte deelgroep wijst op een oplossing: verzamel meer gegevens, voeg een kenmerk toe of train een modelspecifiek voor het segment voor die groep.

Splits statistieken op per segment en cohort om verborgen zwakke plekken, verschillen in eerlijkheid en vroege drift te vinden die het gemiddelde zou verbergen. ✅