Hvorfor Git alene ikke kan versjonsstyre data
Begrensningene ved Git for datasett på størrelse med gigabyte.
Hvorfor Git alene ikke kan versjonsstyre data er en gratis leksjon i MLOps Academy på CoddyKit. Dette er leksjon 1 av 4. Du kan lese hele leksjonen gratis nedenfor – og deretter øve praktisk i nettleseren med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Den er en del av læringsløpet i MLOps Academy, og fremdriften din synkroniseres mellom nettet og CoddyKit-appen. Kurset i MLOps Academy inneholder totalt 4 leksjoner.
Koden er liten, dataene er enorme
Git ble laget for kildekode: små tekstfiler som endres linje for linje. Datasett er ofte gigabyte med binærdata, altså noe helt annet.
Git lagrer hver versjon
Git beholder et fullstendig øyeblikksbilde av hver filversjon for alltid. Legger du inn en fil på 2 GB ti ganger, kan repositoriet vokse mot 20 GB med historikk. 😬
Binære differanser er ubrukelige
Git fungerer godt med tekst fordi det kan vise differanser linje for linje. Med binærfiler som bilder eller parquet kan det ikke vise meningsfulle differanser, og lagrer i stedet hele den nye kopien.
Kloning blir vanskelig
Fordi historikken ligger i repositoriet, må en kollega som kloner det, også laste ned alle tidligere datasettversjoner. En enkel kloning kan ta svært lang tid og fylle disken.
Begrensninger hos vertstjenester skaper problemer
GitHub begrenser enkeltfiler til 100 MB og viser en advarsel over 50 MB. De fleste virkelige datasett overskrider dette med god margin, og push-en blir avvist.
Git LFS hjelper, men bare til en viss grad
Git LFS erstatter store filer med pekere og reduserer størrelsesproblemet. Men det mangler ML-funksjoner som pipelines, separate fjernlagre per prosjekt og reproduserbare datatrinn.
Du trenger fortsatt reproduserbarhet
Et eksperiment er bare pålitelig hvis du kan gjenskape de nøyaktige dataene det brukte. Git alene kan ikke pålitelig knytte en commit til et bestemt øyeblikksbilde av et datasett.
Hovedideen: Lagre pekere
Løsningen er å beholde en liten pekerfil i Git som navngir dataene, mens de tunge byte-dataene ligger i rimelig objektlagring. Git sporer pekeren, ikke innholdet.
# Git tracks this small text pointer, not the 2GB file
outs:
- md5: a1b2c3d4e5f6...
size: 2147483648
path: data/train.csvHer kommer DVC
DVC (Data Version Control) gjør akkurat dette. Det kombinerer Git for kode med en separat hurtigbuffer og et fjernlager for data, slik at du får Git-lignende kommandoer for datasett.
Data og kode holdes synkronisert
Med DVC gjenopprettes også den tilhørende dataversjonen når du sjekker ut en eldre Git-commit. Koden og datasettet beveger seg sammen som én konsistent enhet.
Velkjent arbeidsflyt
DVC bygger på Gits mentale modell: Du legger til, committer, pusher og sjekker ut data. Hvis du kan det grunnleggende i Git, forstår du allerede halvparten av DVC. 🎉
Rask sjekk
Hvorfor skaper det problemer å legge store datasett direkte inn i Git?
Oppsummering
Git er utmerket for kode, men får problemer med store binærdata, noe som gjør historikken større og kan overskride størrelsesbegrensninger. DVC lagrer små pekere i Git og holder de tunge dataene et annet sted, i synkronisering.
Lær deg Python med en AI-veileder – gratis
Skriv og kjør ekte kode i nettleseren, få umiddelbar hjelp fra en AI-veileder som er tilgjengelig døgnet rundt, og fortsett der du slapp – på nettet eller i appen.
- Kurs
- 30
- Leksjoner
- 120
Ofte stilte spørsmål
Er leksjonen «Hvorfor Git alene ikke kan versjonsstyre data» gratis?
Ja – hele teksten i «Hvorfor Git alene ikke kan versjonsstyre data» er gratis å lese her på nettet. For å øve interaktivt med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt, og for å låse opp resten av MLOps Academy-kurset, kan du oppgradere til CoddyKit PRO. Kurset i MLOps Academy inneholder totalt 4 leksjoner.
Hva lærer jeg i «Hvorfor Git alene ikke kan versjonsstyre data»?
Begrensningene ved Git for datasett på størrelse med gigabyte. Du øver på MLOps Academy med praktisk kode som du kjører direkte i nettleseren, mens en AI-veileder som er tilgjengelig døgnet rundt, svarer på spørsmålene dine mens du jobber deg gjennom leksjonen.
Trenger jeg erfaring for å begynne med MLOps Academy?
Ingen tidligere erfaring er nødvendig. MLOps Academy på CoddyKit er lagt opp for både nybegynnere og viderekomne, så De kan begynne her eller helt fra start og lære i Deres eget tempo. Dette er leksjon 1 av 4.
Hvor lang tid tar leksjonen «Hvorfor Git alene ikke kan versjonsstyre data»?
De fleste CoddyKit-leksjoner tar omtrent 5–10 minutter. Hver leksjon er kort og interaktiv, slik at De gjør jevne fremskritt og kan fortsette akkurat der De slapp – både på nettet og i appen.
Kan jeg skrive og kjøre kode i denne MLOps Academy-leksjonen?
Ja. Alle MLOps Academy-leksjoner har en innebygd kodeeditor, slik at De kan skrive og kjøre ekte kode direkte i nettleseren og få umiddelbar tilbakemelding fra AI – uten lokal konfigurering.
Alle leksjonene i dette kurset
- Hvorfor Git alene ikke kan versjonsstyre data
- Initialiser DVC og følg et datasett
- Send data til ekstern lagring
- Gå tilbake til et tidligere datasett