Armazene em cache e ignore etapas inalteradas

Se você alterar apenas o script de avaliação, executar ingestão e treinamento novamente será perda de tempo. O DVC armazena em cache os resultados dos estágios, então o trabalho que não mudou é ignorado. ⏱️

Para cada estágio, o DVC calcula um hash de suas dependências e de seu comando. O hash é uma impressão digital que muda no momento em que qualquer entrada é alterada.

Quando você executa dvc repro, o DVC compara o hash atual de cada estágio com o hash em dvc.lock. Se forem iguais, ele ignora o estágio.

O DVC informa claramente quando nada mudou. Uma mensagem como didn't change, skipping significa que a saída armazenada em cache foi reutilizada.

Altere uma entrada da preparação e o DVC executará novamente a preparação e, depois, todos os estágios a jusante que dependem dela. Os estágios a montante continuam armazenados em cache.

As saídas dos estágios são salvas no diretório de cache do DVC, identificadas pelo hash. Ignorar um estágio significa que o DVC apenas restaura esse arquivo armazenado em cache.

Precisa ignorar o cache? Passe --force para dvc repro, e todos os estágios serão executados novamente, mesmo que nada tenha mudado.

Você pode selecionar um estágio pelo nome com dvc repro -s. É útil quando você quer executar novamente apenas o treinamento, sem afetar o restante.

Execute dvc status para ver quais estágios estão desatualizados sem executar nada. É uma simulação segura do que repro faria.

Em conjuntos de dados grandes, o armazenamento em cache transforma um pipeline de trinta minutos em segundos quando apenas um estágio mudou. Esse ciclo rápido de feedback é o objetivo principal. ⚡

Como dvc.lock contém os hashes, fazer commit dele permite que sua equipe reutilize as mesmas decisões de cache e ignore o trabalho que você já realizou.

Você viu como o DVC calcula hashes das entradas para ignorar estágios inalterados, propagar alterações para jusante e forçar novas execuções quando necessário. Pipelines rápidos e inteligentes. 🎯