Data Science Academy · Oppitunti

Poikkeamat ja niiden merkitys

Tunnista arvot, jotka eivät kuulu joukkoon

Oppitunti 4/413 vaihetta

Poikkeamat ja niiden merkitys on ilmainen Data Science Academy-oppitunti CoddyKitissä. Tämä on oppitunti 4/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu Data Science Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. Data Science Academy-kurssilla on yhteensä 4 oppituntia.

Muusta joukosta erottuvat arvot

Joskus yksi arvo on kaukana muista arvoista. Tällainen yksittäinen piste on poikkeava havainto, ja se voi huomaamatta vääristää koko analyysisi. 🚩

Miksi poikkeavat havainnot ovat tärkeitä

Yksittäinen äärimmäinen arvo voi vetää keskiarvoa ja kasvattaa keskihajontaa. Poikkeavien havaintojen havaitseminen ajoissa estää niitä peittämästä todellista kaavaa.

Virhe vai todellinen signaali

Kaikki poikkeavat havainnot eivät ole roskaa. Jotkin ovat korjattavia kirjoitusvirheitä, mutta toiset ovat aitoja signaaleja, kuten petos tai harvinainen tapahtuma, joka ansaitsee täyden huomiosi.

IQR-sääntö

Perinteinen testi käyttää IQR:ää. Kaikki Q1:n alapuolella tai Q3:n yläpuolella olevat kaukaiset arvot merkitään mahdollisiksi poikkeaviksi havainnoiksi, jotka kannattaa tutkia uudelleen.

IQR:n 1,5-kertainen raja

Aseta raja kohtaan Q1 miinus 1,5 kertaa IQR ja kohtaan Q3 plus 1,5 kertaa IQR. Tämän rajan ulkopuoliset pisteet ovat epäiltyjä poikkeavia havaintoja.

low = q1 - 1.5 * iqr

Niiden merkitseminen pandasissa

Totuusarvomaski löytää ne nopeasti. Kun vertaat saraketta rajoihin, pandas palauttaa täsmälleen ne rivit, jotka ovat ulkopuolella.

df[(df["x"] < low) | (df["x"] > high)]

Z-pistemäärämenetelmä

Toinen lähestymistapa on z-score eli se, kuinka monen keskihajonnan päässä piste on keskiarvosta. Noin kolme ylittävät arvot käsitellään usein poikkeavina havaintoina.

Poikkeavien havaintojen näkeminen laatikkokaaviossa

Laatikkokaavio piirtää IQR-rajan puolestasi ja merkitsee sen ulkopuoliset arvot erillisinä pisteinä. Se on nopein tapa tarkastella poikkeavia havaintoja visuaalisesti.

Tutki ennen poistamista

Älä koskaan poista pistettä vain siksi, että se on äärimmäinen. Tutki se ensin, sillä todellisen datan poistaminen voi hävittää juuri tarvitsemasi oivalluksen.

Tapoja käsitellä niitä

Kun olet ymmärtänyt poikkeavan havainnon, voit poistaa sen, rajoittaa sen arvoa tai säilyttää sen. Arvojen rajoittaminen rajalle on maltillinen välimuoto, joka vähentää vaikutusta.

Dokumentoi jokainen valinta

Kirjoita päätöksesi aina muistiin. Selkeä merkintä siitä, mitä poikkeavia havaintoja muutit ja miksi, pitää analyysisi luotettavana ja toistettavana.

Pikatarkistus

Havaitset aineistossasi arvon, joka on selvästi Q3:n yläpuolella.

Vastaa interaktiivisessa oppitunnissa

Kertaus: poikkeavien havaintojen hallinta

Osaat nyt tunnistaa poikkeavat havainnot IQR-säännön tai z-pisteiden avulla, arvioida, ovatko ne virheitä vai signaaleja, ja käsitellä niitä harkitusti. 🎓

Aloita maksutta

Opi Python tekoälytuutorin avulla — ilmaiseksi

Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.

Kurssit: 30
Oppitunnit: 120

Aloita opiskelu maksutta Näytä koko kurssi

Usein kysytyt kysymykset

Onko oppitunti ”Poikkeamat ja niiden merkitys” ilmainen?

Kyllä – oppitunnin ”Poikkeamat ja niiden merkitys” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko Data Science Academy-kurssin, päivitä CoddyKit PROhon. Data Science Academy-kurssilla on yhteensä 4 oppituntia.

Mitä opin oppitunnilla ”Poikkeamat ja niiden merkitys”?

Tunnista arvot, jotka eivät kuulu joukkoon Harjoittelet Data Science Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.

Tarvitsenko kokemusta aloittaakseni Data Science Academy-opiskelun?

Aiempi kokemus ei ole tarpeen. CoddyKitin Data Science Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 4/4.

Kuinka kauan ”Poikkeamat ja niiden merkitys”-oppitunnin suorittaminen kestää?

Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.

Voinko kirjoittaa ja suorittaa koodia tällä Data Science Academy-oppitunnilla?

Kyllä. Jokainen Data Science Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.

Kaikki tämän kurssin oppitunnit

← Takaisin: Data Science Academy