Miksi Git yksin ei riitä datan versiointiin
Git-versionhallinnan rajat gigatavujen kokoisille aineistoille.
Miksi Git yksin ei riitä datan versiointiin on ilmainen MLOps Academy-oppitunti CoddyKitissä. Tämä on oppitunti 1/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu MLOps Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. MLOps Academy-kurssilla on yhteensä 4 oppituntia.
Koodi on pientä, data valtavaa
Git suunniteltiin lähdekoodille: pienille tekstitiedostoille, jotka muuttuvat rivi riviltä. Datasetit ovat usein gigatavuja binaaridataa eli täysin eri asia.
Git tallentaa jokaisen version
Git säilyttää jokaisesta tiedostoversiosta täyden tilannekuvan pysyvästi. Jos commitoit 2 Gt:n tiedoston kymmenen kertaa, repositoriosi historia voi paisua lähes 20 gigatavuun. 😬
Binaarivertailuista ei ole hyötyä
Git loistaa tekstissä, koska se voi näyttää rivikohtaiset erot. Kuvien ja parqu jonka kaltaisten binaaritiedostojen merkityksellisiä eroja se ei voi näyttää, joten se tallentaa koko uuden kopion.
Kloonaamisesta tulee tuskallista
Koska historia on repositoriossa, sitä kloonaavan työtoverin täytyy ladata myös jokainen aiempi datasetin versio. Yksinkertainen kloonaus voi kestää ikuisuuden ja täyttää levyn.
Palvelun rajoitukset tulevat vastaan
GitHub rajoittaa yksittäiset tiedostot 100 megatavuun ja antaa varoituksen yli 50 megatavun tiedostoista. Useimmat todelliset datasetit ylittävät nämä rajat helposti, jolloin lähetys hylätään.
Git LFS auttaa, mutta vain tiettyyn rajaan
Git LFS korvaa suuret tiedostot osoittimilla ja helpottaa koko-ongelmaa. Siitä kuitenkin puuttuvat ML-ominaisuudet, kuten putket, projektikohtaiset etävarastot ja toistettavat datavaiheet.
Toistettavuutta tarvitaan silti
Koe on luotettava vain, jos pystyt luomaan uudelleen sen käyttämän täsmälleen saman datan. Git yksin ei pysty luotettavasti yhdistämään committia tiettyyn datasetin tilannekuvaan.
Suuri idea: tallenna osoittimet
Ratkaisu on säilyttää Gitissä pieni osoitintiedosto, joka nimeää datan, kun taas raskaat tavut sijaitsevat edullisessa objektitallennuksessa. Git seuraa osoitinta, ei hyötykuormaa.
# Git tracks this small text pointer, not the 2GB file
outs:
- md5: a1b2c3d4e5f6...
size: 2147483648
path: data/train.csvDVC tulee mukaan
DVC (Data Version Control) tekee juuri tämän. Se yhdistää koodin Gitin erilliseen datan välimuistiin ja etävarastoon sekä tarjoaa Gitin kaltaiset komennot dataseteille.
Data ja koodi pysyvät synkronoituina
DVC:n avulla vanhan Git-commitin käyttöönotto palauttaa myös sitä vastaavan datan version. Koodi ja datasetti liikkuvat yhdessä johdonmukaisena kokonaisuutena.
Tutuksi käyvä työnkulku
DVC lainaa Gitin toimintamallia: lisäät, commitoit, lähetät ja otat datan version käyttöön. Jos Gitin perusteet ovat hallussa, ymmärrät jo puolet DVC:stä. 🎉
Pikatarkistus
Miksi suurten datasetien commitoiminen suoraan Gitiin aiheuttaa ongelmia?
Kertaus
Git sopii hyvin koodille, mutta suurten binaaridatojen käsittely paisuttaa historiaa ja törmää kokorajoihin. DVC tallentaa Gitissä pienet osoittimet ja pitää raskaan datan muualla synkronoituna.
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”Miksi Git yksin ei riitä datan versiointiin” ilmainen?
Kyllä – oppitunnin ”Miksi Git yksin ei riitä datan versiointiin” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko MLOps Academy-kurssin, päivitä CoddyKit PROhon. MLOps Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Miksi Git yksin ei riitä datan versiointiin”?
Git-versionhallinnan rajat gigatavujen kokoisille aineistoille. Harjoittelet MLOps Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni MLOps Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin MLOps Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 1/4.
Kuinka kauan ”Miksi Git yksin ei riitä datan versiointiin”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä MLOps Academy-oppitunnilla?
Kyllä. Jokainen MLOps Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Miksi Git yksin ei riitä datan versiointiin
- Alusta DVC ja seuraa aineistoa
- Siirrä data etätallennustilaan
- Palauta aiempi aineistoversio