Inviare i dati allo storage remoto
Salvi i dataset in S3 o GCS con un remote di DVC.
Inviare i dati allo storage remoto è una lezione MLOps Academy gratuita su CoddyKit. Questa è la lezione 3 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento MLOps Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso MLOps Academy include 4 lezioni in totale.
La cache è solo locale
Finora i dati risiedono nella cache locale di DVC su un'unica macchina. I membri del team e la CI non possono raggiungerli, quindi serve uno spazio condiviso in cui archiviarli.
Conoscere il remote DVC
Un remote DVC è uno spazio di archiviazione cloud o condiviso in cui viene caricata la cache dei dati. Lo si può considerare come un remote Git, ma per i dati pesanti anziché per il codice.
Supporto per molti backend
DVC comunica con S3, Google Cloud Storage, Azure, SSH e persino con una semplice cartella condivisa. Può scegliere lo spazio di archiviazione già utilizzato dal team. ☁️
Aggiungere un remote S3
Usi dvc remote add per registrare lo spazio di archiviazione. Il flag -d lo imposta come predefinito, così push e pull lo useranno automaticamente.
dvc remote add -d storage s3://my-bucket/dvcstoreEseguire il commit della configurazione remote
L'impostazione del remote si trova in .dvc/config. Esegua il commit in Git, così ogni membro del team erediterà lo stesso remote senza configurazioni aggiuntive.
git add .dvc/config
git commit -m "Add S3 DVC remote"Le credenziali restano fuori da Git
DVC legge le credenziali cloud dall'ambiente o dal profilo AWS, mai dalla configurazione sottoposta a commit. I segreti restano al sicuro e fuori dal controllo delle versioni.
export AWS_ACCESS_KEY_ID=...
export AWS_SECRET_ACCESS_KEY=...Caricare i dati
Esegua dvc push per caricare nel remote tutto ciò che si trova nella cache. Vengono inviati solo i file che non sono già presenti, quindi l'operazione rimane rapida.
dvc pushEseguire insieme push dei dati e push di Git
Una buona pratica consiste nel fare prima il push dei dati e poi quello del codice. In questo modo i puntatori .dvc in Git indicano sempre dati già presenti nel remote.
dvc push
git pushI membri del team scaricano i dati
Dopo il clone e git pull, un collega esegue dvc pull per scaricare i dataset esatti a cui fanno riferimento i file .dvc. Codice e dati tornano insieme.
git clone <repo>
dvc pullFetch e pull a confronto
dvc fetch scarica i dati solo nella cache, mentre dvc pull li ripristina anche nella cartella di lavoro. Pull equivale a fetch più checkout in un unico passaggio.
La deduplicazione fa risparmiare banda
Poiché il remote è indirizzato dal contenuto, i file invariati non vengono mai caricati di nuovo. Vengono inviati solo i byte realmente nuovi. 🚀
Controllo rapido
Quale comando invia i dati monitorati dalla cache locale allo spazio di archiviazione condiviso?
Riepilogo
Ha aggiunto un remote DVC, ne ha sottoposto a commit la configurazione e ha usato dvc push per caricare i dati. I membri del team eseguono dvc pull per scaricare i dataset esatti a cui fanno riferimento i puntatori.
Domande Frequenti
La lezione «Inviare i dati allo storage remoto» è gratuita?
Sì — il testo completo di «Inviare i dati allo storage remoto» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso MLOps Academy, passa a CoddyKit PRO. Il corso MLOps Academy include 4 lezioni in totale.
Cosa imparerò in «Inviare i dati allo storage remoto»?
Salvi i dataset in S3 o GCS con un remote di DVC. Eserciti MLOps Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare MLOps Academy?
Non è richiesta alcuna esperienza precedente. MLOps Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 3 di 4.
Quanto tempo richiede la lezione «Inviare i dati allo storage remoto»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione MLOps Academy?
Sì. Ogni lezione MLOps Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Perché Git da solo non può gestire le versioni dei dati
- Inizializzare DVC e monitorare un dataset
- Inviare i dati allo storage remoto
- Tornare a una versione precedente del dataset