Upptäck data- och modelldrift

Er modell lärde sig gårdagens mönster, men verkliga data fortsätter att förändras. När de skiftar blir förutsägelserna gradvis sämre utan att det märks. Det här problemet kallas drift. 🌊

Det finns två typer att hålla uppsikt över. Datadrift innebär att indata förändras, medan konceptdrift innebär att sambandet mellan indata och etiketter förändras.

Ett spamfilter som tränats på gamla mejl möter nya knep som det aldrig har sett. Indatan har förändrats, så den tidigare skarpa träffsäkerheten försämras gradvis i produktion.

Den första signalen på drift finns i egenskaperna. Jämför fördelningen av den senaste indatan med träningsdatan och leta efter en förändring i formen.

För att kvantifiera hur mycket två fördelningar skiljer sig åt kan ni använda ett statistiskt mått som KS, Kolmogorov-Smirnov-testet, som returnerar ett tal och ett p-värde.

Ett lågt p-värde innebär att realtidsdatan inte längre överensstämmer med träningsdatan. Välj en tröskel och utlös en avisering när skillnaden passerar den.

Även utan etiketter ger spridningen i modellens utdata en ledtråd. En plötslig förändring i de förutsagda sannolikheterna signalerar ofta inkommande drift.

När verkliga etiketter till slut blir tillgängliga jämför ni dem med tidigare förutsägelser. Sjunkande träffsäkerhet i produktion är det tydligaste och mest direkta beviset på att drift försämrar resultaten.

Ni behöver inte bygga allt för hand. Bibliotek som Evidently beräknar driftrapporter för alla egenskaper och markerar de kolumner som har förändrats.

Drift är inte något som kontrolleras en enda gång. Kör dessa jämförelser enligt ett schema så att er övervakning upptäcker långsamma förändringar långt innan användarna börjar klaga.

Om ni upptäcker drift tidigt kan ni agera innan problemen sprider sig. Nästa naturliga steg är att träna om modellen på färska data och återställa dess försprång.

Ni har lärt er att upptäcka drift: jämföra aktuell indata med träningsdata, mäta skillnaden med tester, övervaka förutsägelser och övervaka enligt ett schema. 🎉