データをリモートストレージにプッシュする

ここまで、データは1台のマシン上にあるDVCのローカルキャッシュに保存されています。チームメンバーやCIからはアクセスできないため、共有して保存できる場所が必要です。

DVCリモートは、データキャッシュをアップロードするクラウドまたは共有ストレージです。コードではなく大容量データを扱うGitリモートのようなものだと考えてください。

DVCはS3、Google Cloud Storage、Azure、SSH、さらには通常の共有フォルダーにも対応しています。チームがすでに使っているストレージを選べます。☁️

dvc remote addを使ってストレージを登録します。-dフラグを付けるとデフォルトとして設定され、pushとpullで自動的に使われます。

リモート設定は.dvc/configに保存されます。これをGitにコミットすると、追加設定なしでチームメンバー全員が同じremoteを使えます。

DVCはクラウドの認証情報を環境またはAWSプロファイルから読み込み、コミット済みの設定からは読み込みません。秘密情報を安全に保ち、バージョン管理の対象外にできます。

dvc pushを実行すると、キャッシュ内のすべてのデータがリモートにアップロードされます。すでに存在するファイルは送信されないため、高速に処理できます。

安全な習慣として、まずデータをプッシュし、その後でコードをプッシュします。こうすれば、Git内の.dvcポインターは常にリモートにすでに存在するデータを指します。

クローンとgit pullの後、同僚はdvc pullを実行して、.dvcファイルが参照する正確なデータセットをダウンロードします。これでコードとデータが再びそろいます。

dvc fetchはデータをキャッシュにダウンロードするだけですが、dvc pullは作業フォルダーにも復元します。Pullは、1回の操作でfetchとcheckoutを行うものです。

リモートはコンテンツアドレス方式なので、変更されていないファイルが再アップロードされることはありません。本当に新しいバイトだけがプッシュされます。🚀

ローカルキャッシュから共有ストレージへ、追跡中のデータを送るコマンドはどれですか？

DVCリモートを追加して設定をコミットし、dvc pushでデータをアップロードしました。チームメンバーはdvc pullを実行して、ポインターが参照する正確なデータセットを取得します。