원격 저장소에 데이터 푸시하기

지금까지 데이터는 한 컴퓨터의 DVC 로컬 캐시에만 있습니다. 팀원과 CI에서는 이 캐시에 접근할 수 없으므로 데이터를 저장할 공유 장소가 필요합니다.

DVC 원격 저장소는 데이터 캐시를 업로드하는 클라우드 또는 공유 저장소입니다. 코드 대신 용량이 큰 데이터를 다루는 Git 원격 저장소라고 생각하면 됩니다.

DVC는 S3, Google Cloud Storage, Azure, SSH, 일반 공유 폴더까지 지원합니다. 팀에서 이미 사용하는 저장소를 선택하면 됩니다. ☁️

dvc remote add를 사용해 저장소를 등록합니다. -d 플래그는 해당 저장소를 기본값으로 지정하므로 push와 pull에서 자동으로 사용됩니다.

원격 저장소 설정은 .dvc/config에 저장됩니다. 이를 Git에 커밋하면 모든 팀원이 별도의 설정 없이 같은 원격 저장소를 사용하게 됩니다.

DVC는 클라우드 자격 증명을 커밋된 구성 파일이 아니라 환경이나 AWS 프로필에서 읽습니다. 비밀 정보는 안전하게 보호되며 버전 관리에서 제외됩니다.

dvc push를 실행해 캐시의 모든 내용을 원격 저장소에 업로드합니다. 이미 존재하는 파일은 전송하지 않으므로 빠르게 처리됩니다.

안전한 습관은 데이터를 먼저 push한 다음 코드를 push하는 것입니다. 그러면 Git의 .dvc 포인터가 항상 원격 저장소에 이미 존재하는 데이터를 가리키게 됩니다.

복제하고 git pull을 실행한 후 동료가 dvc pull을 실행하면 .dvc 파일이 가리키는 정확한 데이터 세트를 내려받습니다. 코드와 데이터가 다시 합쳐집니다.

dvc fetch는 데이터를 캐시에만 내려받고, dvc pull은 작업 폴더에도 데이터를 복원합니다. pull은 fetch와 checkout을 한 단계로 수행하는 명령입니다.

원격 저장소는 콘텐츠 주소를 사용하므로 변경되지 않은 파일은 다시 업로드하지 않습니다. 실제로 새로 추가된 데이터만 push합니다. 🚀

DVC 원격 저장소를 추가하고 구성을 커밋한 다음 dvc push로 데이터를 업로드했습니다. 팀원은 dvc pull을 실행해 포인터가 가리키는 정확한 데이터 세트를 가져옵니다.