Siirrä data etätallennustilaan
Tallenna aineistot S3:een tai GCS:ään DVC remoten avulla.
Siirrä data etätallennustilaan on ilmainen MLOps Academy-oppitunti CoddyKitissä. Tämä on oppitunti 3/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu MLOps Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. MLOps Academy-kurssilla on yhteensä 4 oppituntia.
Välimuisti on vain paikallinen
Tähän asti datasi on ollut DVC:n paikallisessa välimuistissa yhdellä koneella. Tiimikaverit ja CI eivät pääse siihen käsiksi, joten tarvitset jaetun tallennuspaikan.
Tutustu DVC-etävarastoon
DVC-etävarasto on pilvi- tai jaettu tallennustila, johon datasi välimuisti ladataan. Ajattele sitä Git-etävarastona, mutta koodin sijaan suurta dataa varten.
Useita taustajärjestelmiä tuetaan
DVC toimii S3:n, Google Cloud Storagen, Azuren, SSH:n ja jopa tavallisen jaetun kansion kanssa. Voit valita tallennustilan, jota tiimisi jo käyttää. ☁️
Lisää S3-etävarasto
Rekisteröi tallennustila komennolla dvc remote add. -d-valitsin merkitsee sen oletukseksi, jolloin push- ja pull-komennot käyttävät sitä automaattisesti.
dvc remote add -d storage s3://my-bucket/dvcstoreTallenna etävaraston asetukset
Etävaraston asetus sijaitsee tiedostossa .dvc/config. Tallenna se Gitiin, jotta jokainen tiimikaveri saa saman etävaraston käyttöön ilman lisämäärityksiä.
git add .dvc/config
git commit -m "Add S3 DVC remote"Tunnistetiedot pysyvät Gitin ulkopuolella
DVC lukee pilvipalvelun tunnistetiedot ympäristöstäsi tai AWS-profiilista, ei koskaan tallennetuista asetuksista. Salaisuudet pysyvät turvassa ja versionhallinnan ulkopuolella.
export AWS_ACCESS_KEY_ID=...
export AWS_SECRET_ACCESS_KEY=...Lähetä data etävarastoon
Suorita dvc push, niin kaikki välimuistissa oleva data ladataan etävarastoon. Vain siellä ennestään olevat tiedostot lähetetään, joten toiminta pysyy nopeana.
dvc pushSuorita datan push ja Git push yhdessä
Turvallinen toimintatapa on lähettää data ensin ja koodi vasta sen jälkeen. Näin Gitissä olevat .dvc-osoittimet viittaavat aina dataan, joka on jo etävarastossa.
dvc push
git pushTiimikaverit lataavat datan
Kloonauksen ja git pull -komennon jälkeen tiimikaveri suorittaa dvc pull -komennon ladatakseen täsmälleen ne datajoukot, joihin .dvc-tiedostot viittaavat. Koodi ja data yhdistyvät jälleen.
git clone <repo>
dvc pullFetch ja pull
dvc fetch lataa datan vain välimuistiin, kun taas dvc pull palauttaa sen myös työskentelykansioon. Pull on fetch ja checkout yhdessä vaiheessa.
Dedup säästää kaistanleveyttä
Koska etävarasto on sisältöosoitteinen, muuttumattomia tiedostoja ei ladata uudelleen. Push lähettää vain aidosti uudet tavut. 🚀
Pikatarkistus
Mikä komento lähettää seuraamasi datan paikallisesta välimuistista jaettuun tallennustilaan?
Kertaus
Lisäsit DVC-etävaraston, tallensit sen asetukset ja käytit dvc push -komentoa datan lähettämiseen. Tiimikaverit suorittavat dvc pull -komennon noutaakseen täsmälleen ne datajoukot, joihin osoittimesi viittaavat.
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”Siirrä data etätallennustilaan” ilmainen?
Kyllä – oppitunnin ”Siirrä data etätallennustilaan” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko MLOps Academy-kurssin, päivitä CoddyKit PROhon. MLOps Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Siirrä data etätallennustilaan”?
Tallenna aineistot S3:een tai GCS:ään DVC remoten avulla. Harjoittelet MLOps Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni MLOps Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin MLOps Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 3/4.
Kuinka kauan ”Siirrä data etätallennustilaan”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä MLOps Academy-oppitunnilla?
Kyllä. Jokainen MLOps Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Miksi Git yksin ei riitä datan versiointiin
- Alusta DVC ja seuraa aineistoa
- Siirrä data etätallennustilaan
- Palauta aiempi aineistoversio