Deep Learning Academy · Oppitunti

Versioikaa data ja mallit

Toistakaa mikä tahansa ajo sen syötteistä

Oppitunti 2/413 vaihetta

Versioikaa data ja mallit on ilmainen Deep Learning Academy-oppitunti CoddyKitissä. Tämä on oppitunti 2/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu Deep Learning Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. Deep Learning Academy-kurssilla on yhteensä 4 oppituntia.

Koodin versiointi ei riitä

Git seuraa koodianne erinomaisesti, mutta malli riippuu myös datasta ja painoista. Tuloksen toistamiseksi myös ne on versioitava. 🗂️

Miksi datan muutokset rikkovat suoritukset

Tietojoukot kasvavat, niitä siivotaan tai niiden luokkia muutetaan. Jos ette pysty kertomaan, mikä datan versio mallin koulutti, ette voi koskaan rakentaa täsmälleen samaa tulosta uudelleen.

Toistettavuuden kolmio

Suoritus on toistettavissa vain, kun kolme asiaa on sidottu yhteen: koodi, data ja koulutetut painot. Jos yksikin puuttuu, tulos muuttuu.

Tiivistä data hashilla

Gitissä ei säilytetä valtavan suuria tiedostoja. Sen sijaan tallennetaan hash, lyhyt tietoaineiston sormenjälki, jonka avulla kaikki muutokset havaitaan heti.

import hashlib
h = hashlib.md5(open("train.csv","rb").read()).hexdigest()

Tutustu DVC:hen

DVC eli Data Version Control toimii Gitin päällä ja mahdollistaa suurten tiedostojen versionhallinnan. Se tallentaa Gitiin pienen osoittimen ja varsinaiset tiedot etätallennukseen.

pip install dvc

Seuraa tietoaineistoa

Yhdellä komennolla DVC ottaa tiedoston hallintaansa. Se korvaa raskaan datan pienellä .dvc-osoittimella, jonka Git voi tallentaa turvallisesti.

dvc add data/train.csv

Siirrä data etätallennukseen

Varsinaiset tavut ovat pilvitallennuksessa, eivät repositoriossasi. dvc push lataa ne sinne, jotta työtoverisi voivat myöhemmin noutaa täsmälleen samat tiedostot.

dvc push

Versioi myös malli

Tallenna painot selkeällä nimellä, joka yhdistää ne tiettyyn ajoon. Kun tarkistuspiste yhdistetään sen commitiin ja datan hash-arvoon, malli on täysin jäljitettävissä.

torch.save(model.state_dict(), "model_v3.pt")

Merkitse julkaisut

Kun malli on riittävän hyvä julkaistavaksi, merkitse kyseinen hetki. Gitin tag, kuten v1.0, mahdollistaa täsmälleen saman koodin, datan ja painojen palauttamisen milloin tahansa.

git tag -a v1.0 -m "first production model"

Toista mikä tahansa ajo

Kun kaikki on versioitu, palauttamiseen tarvitaan kaksi vaihetta: checkout kyseiseen commitiin ja sitten dvc pull. Saat täsmälleen samat syötteet, joilla alkuperäinen malli tuotettiin.

git checkout v1.0
dvc pull

Versionhallinta rakentaa luottamusta

Kun kuka tahansa voi rakentaa tuloksen uudelleen alusta asti, työsi on auditoitavissa. Tämä luottamus erottaa harrasteprojektin tuotantokäytössä olevasta ML-ratkaisusta.

Pikatarkistus

Miten DVC pitää suuret tietoaineistot poissa Gitistä?

Vastaa interaktiivisessa oppitunnissa

Kertaus

Opit versioimaan dataa ja malleja: laskemaan syötteiden hash-arvot, seuraamaan tiedostoja DVC:llä, siirtämään ne etätallennukseen ja merkitsemään julkaisut, jotta jokainen ajo voidaan toistaa. 🎉

Aloita maksutta

Opi Python tekoälytuutorin avulla — ilmaiseksi

Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.

Kurssit: 30
Oppitunnit: 120

Aloita opiskelu maksutta Näytä koko kurssi

Usein kysytyt kysymykset

Onko oppitunti ”Versioikaa data ja mallit” ilmainen?

Kyllä – oppitunnin ”Versioikaa data ja mallit” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko Deep Learning Academy-kurssin, päivitä CoddyKit PROhon. Deep Learning Academy-kurssilla on yhteensä 4 oppituntia.

Mitä opin oppitunnilla ”Versioikaa data ja mallit”?

Toistakaa mikä tahansa ajo sen syötteistä Harjoittelet Deep Learning Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.

Tarvitsenko kokemusta aloittaakseni Deep Learning Academy-opiskelun?

Aiempi kokemus ei ole tarpeen. CoddyKitin Deep Learning Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 2/4.

Kuinka kauan ”Versioikaa data ja mallit”-oppitunnin suorittaminen kestää?

Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.

Voinko kirjoittaa ja suorittaa koodia tällä Deep Learning Academy-oppitunnilla?

Kyllä. Jokainen Deep Learning Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.

Kaikki tämän kurssin oppitunnit

← Takaisin: Deep Learning Academy