Wysyłanie danych do zdalnego magazynu
Przechowuj zbiory danych w S3 lub GCS za pomocą zdalnego repozytorium DVC
Wysyłanie danych do zdalnego magazynu to bezpłatna lekcja MLOps Academy na CoddyKit. To lekcja 3 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej MLOps Academy, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs MLOps Academy zawiera 4 lekcji w sumie.
Pamięć podręczna jest tylko lokalna
Jak dotąd dane znajdują się w lokalnej pamięci podręcznej DVC na jednym komputerze. Członkowie zespołu i CI nie mogą uzyskać do nich dostępu, dlatego potrzebujesz współdzielonego miejsca do ich przechowywania.
Poznaj zdalny magazyn DVC
Zdalny magazyn DVC to chmurowa lub współdzielona pamięć masowa, do której przesyłana jest pamięć podręczna danych. Możesz myśleć o nim jak o zdalnym repozytorium Git, ale przeznaczonym na duże dane, a nie kod.
Obsługa wielu backendów
DVC obsługuje S3, Google Cloud Storage, Azure, SSH, a nawet zwykły współdzielony folder. Wybierz magazyn, z którego Twój zespół już korzysta. ☁️
Dodawanie zdalnego magazynu S3
Użyj dvc remote add, aby zarejestrować magazyn. Flaga -d oznacza go jako domyślny, dzięki czemu polecenia push i pull będą używać go automatycznie.
dvc remote add -d storage s3://my-bucket/dvcstoreZatwierdzanie konfiguracji zdalnego magazynu
Ustawienie zdalnego magazynu znajduje się w pliku .dvc/config. Zatwierdź je w Git, aby każdy członek zespołu odziedziczył ten sam zdalny magazyn bez dodatkowej konfiguracji.
git add .dvc/config
git commit -m "Add S3 DVC remote"Dane uwierzytelniające pozostają poza Git
DVC odczytuje chmurowe dane uwierzytelniające ze środowiska lub profilu AWS, nigdy z zatwierdzonej konfiguracji. Sekrety pozostają bezpieczne i poza kontrolą wersji.
export AWS_ACCESS_KEY_ID=...
export AWS_SECRET_ACCESS_KEY=...Przesyłanie danych
Uruchom dvc push, aby przesłać całą zawartość pamięci podręcznej do zdalnego magazynu. Wysyłane są tylko pliki, których jeszcze tam nie ma, więc operacja pozostaje szybka.
dvc pushWspólne wykonywanie push danych i Git push
Bezpieczna praktyka: najpierw prześlij dane, a dopiero potem kod. Dzięki temu wskaźniki .dvc w Git zawsze wskazują dane, które już istnieją w zdalnym magazynie.
dvc push
git pushCzłonkowie zespołu pobierają dane
Po sklonowaniu repozytorium i wykonaniu git pull współpracownik uruchamia dvc pull, aby pobrać dokładnie te zbiory danych, do których odwołują się pliki .dvc. Kod i dane znów są razem.
git clone <repo>
dvc pullFetch a pull
dvc fetch pobiera dane tylko do pamięci podręcznej, natomiast dvc pull dodatkowo odtwarza je w folderze roboczym. Pull to fetch oraz checkout wykonane w jednym kroku.
Deduplikacja oszczędza przepustowość
Ponieważ zdalny magazyn jest adresowany zawartością, niezmienione pliki nigdy nie są przesyłane ponownie. Wysyłane są tylko bajty, które rzeczywiście są nowe. 🚀
Szybkie sprawdzenie
Która komenda przesyła śledzone dane z lokalnej pamięci podręcznej do współdzielonego magazynu?
Podsumowanie
Dodałeś zdalny magazyn DVC, zatwierdziłeś jego konfigurację i użyłeś dvc push do przesłania danych. Członkowie zespołu uruchamiają dvc pull, aby pobrać dokładne zbiory danych, do których odwołują się wskaźniki.
Często zadawane pytania
Czy lekcja „Wysyłanie danych do zdalnego magazynu” jest bezpłatna?
Tak — pełny tekst „Wysyłanie danych do zdalnego magazynu” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu MLOps Academy, przejdź na CoddyKit PRO. Kurs MLOps Academy zawiera 4 lekcji w sumie.
Co nauczysz się w „Wysyłanie danych do zdalnego magazynu”?
Przechowuj zbiory danych w S3 lub GCS za pomocą zdalnego repozytorium DVC Ćwiczysz MLOps Academy z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć MLOps Academy?
Nie wymagamy żadnego doświadczenia. MLOps Academy w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 3 z 4.
Ile czasu zajmuje lekcja „Wysyłanie danych do zdalnego magazynu”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji MLOps Academy?
Tak. Każda lekcja MLOps Academy zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Dlaczego sam Git nie wystarcza do wersjonowania danych
- Inicjalizacja DVC i śledzenie zbioru danych
- Wysyłanie danych do zdalnego magazynu
- Powrót do wcześniejszej wersji zbioru danych