Send data til ekstern lagring
Lagre datasett i S3 eller GCS med en DVC-remote.
Send data til ekstern lagring er en gratis leksjon i MLOps Academy på CoddyKit. Dette er leksjon 3 av 4. Du kan lese hele leksjonen gratis nedenfor – og deretter øve praktisk i nettleseren med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Den er en del av læringsløpet i MLOps Academy, og fremdriften din synkroniseres mellom nettet og CoddyKit-appen. Kurset i MLOps Academy inneholder totalt 4 leksjoner.
Hurtigbufferen er bare lokal
Så langt ligger dataene dine i DVCs lokale hurtigbuffer på én maskin. Teammedlemmer og CI får ikke tilgang til den, så du trenger et felles sted å lagre dataene.
Bli kjent med DVC remote
En DVC remote er sky- eller delt lagring dit hurtigbufferen med dataene dine lastes opp. Tenk på den som en Git remote, men for store datamengder i stedet for kode.
Mange lagringsløsninger støttes
DVC støtter S3, Google Cloud Storage, Azure, SSH og til og med en vanlig delt mappe. Du velger den lagringsløsningen teamet allerede bruker. ☁️
Legg til en S3-remote
Bruk dvc remote add for å registrere lagringen. Flagget -d markerer den som standard, slik at push og pull bruker den automatisk.
dvc remote add -d storage s3://my-bucket/dvcstoreGjør commit av remote-konfigurasjonen
Remote-innstillingen ligger i .dvc/config. Gjør commit av den til Git, slik at alle teammedlemmer arver samme remote uten ekstra oppsett.
git add .dvc/config
git commit -m "Add S3 DVC remote"Legitimasjonsopplysninger skal ikke i Git
DVC leser legitimasjonsopplysninger for skyen fra miljøet ditt eller AWS-profilen, aldri fra den versjonerte konfigurasjonen. Hemmeligheter forblir sikre og utenfor versjonskontrollen.
export AWS_ACCESS_KEY_ID=...
export AWS_SECRET_ACCESS_KEY=...Push dataene opp
Kjør dvc push for å laste opp alt i hurtigbufferen til remoten. Bare filer som ikke allerede finnes der, sendes, så det går raskt.
dvc pushPush data og Git push sammen
En trygg vane er å pushe dataene først og deretter pushe koden. Da peker .dvc-pekerne i Git alltid på data som allerede finnes i remoten.
dvc push
git pushTeammedlemmer henter data
Etter kloning og git pull kjører en kollega dvc pull for å laste ned de nøyaktige datasettene som .dvc-filene refererer til. Kode og data gjenforenes.
git clone <repo>
dvc pullFetch kontra pull
dvc fetch laster bare dataene ned til hurtigbufferen, mens dvc pull også gjenoppretter dem i arbeidsmappen. Pull er fetch og checkout i ett trinn.
Dedup sparer båndbredde
Fordi remoten er innholdsadresserbar, lastes uendrede filer aldri opp på nytt. Push sender bare byte som faktisk er nye. 🚀
Rask kontroll
Hvilken kommando sender de sporede dataene fra den lokale hurtigbufferen til delt lagring?
Oppsummering
Du la til en DVC remote, gjorde commit av konfigurasjonen og brukte dvc push til å laste opp data. Teammedlemmer kjører dvc pull for å hente de nøyaktige datasettene pekerne dine refererer til.
Lær deg Python med en AI-veileder – gratis
Skriv og kjør ekte kode i nettleseren, få umiddelbar hjelp fra en AI-veileder som er tilgjengelig døgnet rundt, og fortsett der du slapp – på nettet eller i appen.
- Kurs
- 30
- Leksjoner
- 120
Ofte stilte spørsmål
Er leksjonen «Send data til ekstern lagring» gratis?
Ja – hele teksten i «Send data til ekstern lagring» er gratis å lese her på nettet. For å øve interaktivt med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt, og for å låse opp resten av MLOps Academy-kurset, kan du oppgradere til CoddyKit PRO. Kurset i MLOps Academy inneholder totalt 4 leksjoner.
Hva lærer jeg i «Send data til ekstern lagring»?
Lagre datasett i S3 eller GCS med en DVC-remote. Du øver på MLOps Academy med praktisk kode som du kjører direkte i nettleseren, mens en AI-veileder som er tilgjengelig døgnet rundt, svarer på spørsmålene dine mens du jobber deg gjennom leksjonen.
Trenger jeg erfaring for å begynne med MLOps Academy?
Ingen tidligere erfaring er nødvendig. MLOps Academy på CoddyKit er lagt opp for både nybegynnere og viderekomne, så De kan begynne her eller helt fra start og lære i Deres eget tempo. Dette er leksjon 3 av 4.
Hvor lang tid tar leksjonen «Send data til ekstern lagring»?
De fleste CoddyKit-leksjoner tar omtrent 5–10 minutter. Hver leksjon er kort og interaktiv, slik at De gjør jevne fremskritt og kan fortsette akkurat der De slapp – både på nettet og i appen.
Kan jeg skrive og kjøre kode i denne MLOps Academy-leksjonen?
Ja. Alle MLOps Academy-leksjoner har en innebygd kodeeditor, slik at De kan skrive og kjøre ekte kode direkte i nettleseren og få umiddelbar tilbakemelding fra AI – uten lokal konfigurering.
Alle leksjonene i dette kurset
- Hvorfor Git alene ikke kan versjonsstyre data
- Initialiser DVC og følg et datasett
- Send data til ekstern lagring
- Gå tilbake til et tidligere datasett