Deep Learning Academy · Oppitunti

Tunnistakaa datan ja mallin muuttuminen

Havaitkaa, kun ympäröivä maailma muuttuu

Oppitunti 3/413 vaihetta

Tunnistakaa datan ja mallin muuttuminen on ilmainen Deep Learning Academy-oppitunti CoddyKitissä. Tämä on oppitunti 3/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu Deep Learning Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. Deep Learning Academy-kurssilla on yhteensä 4 oppituntia.

Maailma muuttuu jatkuvasti

Mallisi oppi eiliset toimintamallit, mutta todellinen data muuttuu jatkuvasti. Muutosten myötä ennusteet heikkenevät vähitellen ja huomaamatta. Tätä ongelmaa kutsutaan driftiksi. 🌊

Driftin kaksi muotoa

Seurattavana on kaksi eri muotoa. Data drift tarkoittaa syötteiden muodon muuttumista, kun taas concept drift tarkoittaa syötteiden ja luokkien välisen suhteen muuttumista.

Konkreettinen esimerkki

Vanhoilla sähköposteilla koulutettu roskapostisuodatin kohtaa uusia keinoja, joita se ei ole koskaan nähnyt. Syötteissä tapahtui drift, joten aiemmin tarkka tulosten osumatarkkuus heikkenee tuotannossa vähitellen.

Seuraa syötteiden jakaumaa

Ensimmäinen merkki driftistä näkyy piirteissä. Vertaa viimeaikaisten syötteiden jakaumaa koulutusdataan ja etsi jakauman muodossa tapahtuneita muutoksia.

ref_mean = X_train.mean(axis=0)
live_mean = X_live.mean(axis=0)

Mittaa ero

Kun haluat määrittää, kuinka paljon kaksi jakaumaa eroaa toisistaan, käytä esimerkiksi KS-testiä eli Kolmogorov–Smirnovin testiä. Se palauttaa luvun ja p-arvon.

from scipy.stats import ks_2samp
stat, p = ks_2samp(X_train[:,0], X_live[:,0])

Aseta kynnysarvo

Pieni p-arvo tarkoittaa, ettei tuotannossa oleva data enää vastaa koulutusdataa. Valitse kynnysarvo ja laukaise hälytys aina, kun ero ylittää sen.

if p < 0.05:
    print("drift detected")

Seuraa myös ennusteita

Vihjeitä saa myös mallin tulosten jakaumasta, vaikka luokkia ei olisi saatavilla. Ennustettujen todennäköisyyksien äkillinen muutos on usein merkki tulevasta driftistä.

Paras signaali on totuus

Kun todelliset luokat lopulta saadaan, vertaa niitä aiempiin ennusteisiin. Tuotannossa laskeva osumatarkkuus on selkein ja suorin todiste siitä, että drifti heikentää tuloksia.

Työkalut seuraavat puolestasi

Kaikkea ei tarvitse rakentaa itse. Evidently-kirjaston kaltaiset työkalut muodostavat driftiraportteja kaikista piirteistä ja ilmoittavat muuttuneista sarakkeista.

from evidently.report import Report

Seuraa jatkuvasti

Driftiä ei tarkisteta vain kerran. Suorita nämä vertailut säännöllisesti, jotta seuranta havaitsee hitaat muutokset kauan ennen kuin käyttäjät alkavat valittaa.

Havaitseminen on vasta puolet työstä

Kun havaitset driftin ajoissa, ehdit toimia ennen vahinkojen leviämistä. Luonteva seuraava askel on uudelleenkouluttaa malli tuoreella datalla ja palauttaa sen etumatka.

Pikatarkistus

Mitä concept drift nimenomaisesti kuvaa?

Vastaa interaktiivisessa oppitunnissa

Kertaus

Opit havaitsemaan driftin: vertaamaan tuotannon syötteitä koulutusdataan, mittaamaan eroa testeillä, seuraamaan ennusteita ja tarkkailemaan tilannetta säännöllisesti. 🎉

Aloita maksutta

Opi Python tekoälytuutorin avulla — ilmaiseksi

Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.

Kurssit: 30
Oppitunnit: 120

Aloita opiskelu maksutta Näytä koko kurssi

Usein kysytyt kysymykset

Onko oppitunti ”Tunnistakaa datan ja mallin muuttuminen” ilmainen?

Kyllä – oppitunnin ”Tunnistakaa datan ja mallin muuttuminen” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko Deep Learning Academy-kurssin, päivitä CoddyKit PROhon. Deep Learning Academy-kurssilla on yhteensä 4 oppituntia.

Mitä opin oppitunnilla ”Tunnistakaa datan ja mallin muuttuminen”?

Havaitkaa, kun ympäröivä maailma muuttuu Harjoittelet Deep Learning Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.

Tarvitsenko kokemusta aloittaakseni Deep Learning Academy-opiskelun?

Aiempi kokemus ei ole tarpeen. CoddyKitin Deep Learning Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 3/4.

Kuinka kauan ”Tunnistakaa datan ja mallin muuttuminen”-oppitunnin suorittaminen kestää?

Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.

Voinko kirjoittaa ja suorittaa koodia tällä Deep Learning Academy-oppitunnilla?

Kyllä. Jokainen Deep Learning Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.

Kaikki tämän kurssin oppitunnit

← Takaisin: Deep Learning Academy