Avvikare och vad de betyder

Ibland ligger ett värde långt från resten av gruppen. Den ensamma punkten är en uteliggare, och den kan i det tysta förvränga hela er analys. 🚩

Ett enda extremvärde kan dra medelvärdet och förstora standardavvikelsen. Genom att upptäcka uteliggare tidigt hindrar ni dem från att dölja det verkliga mönstret.

Alla uteliggare är inte skräp. Vissa är skrivfel som behöver rättas, medan andra är en verklig signal, till exempel bedrägeri eller en sällsynt händelse som förtjänar hela er uppmärksamhet.

Det klassiska testet använder IQR. Allt som ligger långt under Q1 eller långt över Q3 markeras som en möjlig uteliggare som bör undersökas närmare.

Skapa en gräns vid Q1 minus 1,5 gånger IQR och Q3 plus 1,5 gånger IQR. Punkter utanför denna gräns är de misstänkta uteliggarna.

En boolesk mask hittar dem snabbt. Jämför kolumnen med gränserna så returnerar pandas exakt de rader som hamnar utanför.

Ett annat tillvägagångssätt är z-poängen, som anger hur många standardavvikelser en punkt ligger från medelvärdet. Värden över ungefär tre behandlas ofta som uteliggare.

Ett lådagram ritar IQR-gränsen åt er och markerar allt som ligger bortom den som separata punkter. Det är det snabbaste visuella sättet att söka efter uteliggare.

Ta aldrig bort en punkt bara för att den är extrem. Undersök den först, eftersom borttagning av verkliga data kan radera just den insikt ni behövde.

När ni har förstått en uteliggare kan ni ta bort, begränsa eller behålla den. Att begränsa värden till gränsen är en varsam medelväg som minskar skadan.

Oavsett vad ni beslutar ska ni skriva ned det. En tydlig anteckning om vilka uteliggare ni ändrade och varför gör analysen ärlig och reproducerbar.

Ni kan nu upptäcka uteliggare med IQR-regeln eller z-poäng, bedöma om de beror på fel eller är en signal och hantera dem medvetet. 🎓