Välimuistita vaiheet ja ohita muuttumattomat
Aja nopeuden vuoksi uudelleen vain se, mikä todella muuttui.
Välimuistita vaiheet ja ohita muuttumattomat on ilmainen MLOps Academy-oppitunti CoddyKitissä. Tämä on oppitunti 3/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu MLOps Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. MLOps Academy-kurssilla on yhteensä 4 oppituntia.
Miksi kaikki suoritettaisiin uudelleen?
Jos muokkaatte vain eval-komentosarjaa, ingest- ja train-vaiheiden suorittaminen uudelleen tuhlaa aikaa. DVC välimuistittaa vaiheiden tulokset, joten muuttumattomat työt ohitetaan. ⏱️
DVC laskee syötteiden hash-arvot
DVC laskee kullekin vaiheelle sen riippuvuuksien ja komennon hash-arvon. Hash-arvo toimii sormenjälkenä, joka muuttuu heti, kun jokin syöte muuttuu.
Sama hash-arvo tarkoittaa ohittamista
Kun suoritatte dvc repro -komennon, DVC vertaa kunkin vaiheen nykyistä hash-arvoa dvc.lock-tiedostossa olevaan arvoon. Jos arvot täsmäävät, vaihe ohitetaan.
Ohituksen näkeminen tulosteesta
DVC ilmoittaa selkeästi, kun mikään ei ole muuttunut. Viesti kuten didn't change, skipping tarkoittaa, että välimuistissa oleva tuloste käytettiin uudelleen.
$ dvc repro
Stage 'prep' didn't change, skipping
Running stage 'train'...Muutokset ketjuuntuvat seuraaviin vaiheisiin
Kun muutatte prep-vaiheen syötettä, DVC suorittaa prep-vaiheen uudelleen ja sen jälkeen kaikki siitä riippuvat seuraavat vaiheet. Aiemmat vaiheet säilyvät välimuistissa.
Tulosteet tallennetaan välimuistiin
Vaiheiden tulosteet tallennetaan DVC:n cache-hakemistoon hash-arvon perusteella. Vaiheen ohittaminen tarkoittaa, että DVC vain palauttaa kyseisen välimuistissa olevan tiedoston.
Pakota koko putkiston suorittaminen uudelleen
Haluatteko ohittaa välimuistin? Välittäkää --force dvc repro -komennolle, niin jokainen vaihe suoritetaan uudelleen, vaikka mikään ei olisi muuttunut.
dvc repro --forceYhden vaiheen suorittaminen uudelleen
Voitte kohdistaa suorituksen yhteen vaiheeseen sen nimellä komennolla dvc repro -s. Se on kätevää, kun haluatte suorittaa uudelleen vain train-vaiheen koskematta muihin vaiheisiin.
dvc repro -s trainTarkistakaa tila ennen suorittamista
Suorittakaa dvc status, niin näette vanhentuneet vaiheet ilman mitään suorittamista. Se on turvallinen esikatselu siitä, mitä repro tekisi.
dvc statusNopeuden hyöty
Suurilla aineistoilla välimuisti muuttaa puolen tunnin putkiston sekunneiksi, kun vain yksi vaihe on muuttunut. Tämä nopea palautesykli on koko toiminnon tarkoitus. ⚡
Viekää dvc.lock versionhallintaan välimuistin tilan jakamiseksi
Koska dvc.lock sisältää hash-arvot, sen vieminen versionhallintaan antaa työtovereillenne mahdollisuuden käyttää samoja cache-päätöksiä uudelleen ja ohittaa jo tekemänne työn.
Pikatarkistus
Pohtikaa, mikä käynnistää suorituksen uudelleen.
Kertaus: välimuisti ja ohittaminen
Näitte, miten DVC laskee syötteiden hash-arvot muuttumattomien vaiheiden ohittamista varten, välittää muutokset seuraaviin vaiheisiin ja pakottaa suoritukset tarvittaessa uudelleen. Nopeita ja älykkäitä putkistoja. 🎯
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”Välimuistita vaiheet ja ohita muuttumattomat” ilmainen?
Kyllä – oppitunnin ”Välimuistita vaiheet ja ohita muuttumattomat” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko MLOps Academy-kurssin, päivitä CoddyKit PROhon. MLOps Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Välimuistita vaiheet ja ohita muuttumattomat”?
Aja nopeuden vuoksi uudelleen vain se, mikä todella muuttui. Harjoittelet MLOps Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni MLOps Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin MLOps Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 3/4.
Kuinka kauan ”Välimuistita vaiheet ja ohita muuttumattomat”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä MLOps Academy-oppitunnilla?
Kyllä. Jokainen MLOps Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Vaiheet: Ingest, Prep, Train, Eval
- Määritä putki DVC-vaiheilla
- Välimuistita vaiheet ja ohita muuttumattomat
- Parametrisoi ajot params.yaml-tiedostolla