Estágios: ingestão, preparação, treinamento, avaliação
Divida o treinamento em etapas claras e armazenáveis em cache.
Estágios: ingestão, preparação, treinamento, avaliação é uma aula grátis de MLOps Academy no CoddyKit. Esta é a aula 1 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de MLOps Academy, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de MLOps Academy inclui 4 aulas no total.
De um script único e grande para etapas
Um único train.py que faz tudo é difícil de reutilizar e demorado para depurar. Dividi-lo em etapas torna cada passo claro e executável de forma independente. 🧩
As quatro etapas clássicas
A maioria dos pipelines de treinamento segue o mesmo formato: ingest, prep, train, eval. Cada etapa recebe entradas e produz saídas que a próxima lê.
Etapa 1: ingest
A etapa ingest obtém os dados brutos da fonte, como um banco de dados ou um armazenamento, e os grava em um caminho local conhecido. Nada é limpo ainda.
import pandas as pd
df = pd.read_csv("s3://bucket/raw.csv")
df.to_parquet("data/raw.parquet")Etapa 2: prep
A etapa prep limpa e transforma os dados brutos em atributos prontos para o modelo. Ela trata valores ausentes, codificação e divisão em conjuntos de treinamento e teste.
Etapa 3: train
A etapa train lê os atributos preparados e ajusta o modelo; depois, salva o artefato ajustado no disco para que a próxima etapa faça a pontuação.
model.fit(X_train, y_train)
joblib.dump(model, "models/model.pkl")Etapa 4: eval
A etapa eval carrega o modelo salvo, calcula sua pontuação no conjunto de teste separado e grava métricas, como a precisão, em um arquivo que você pode acompanhar.
score = model.score(X_test, y_test)
json.dump({"accuracy": score}, open("metrics.json", "w"))As etapas passam arquivos, não variáveis
As etapas se comunicam por meio de arquivos no disco, não de variáveis na memória. Esse desacoplamento permite executar novamente uma etapa sem executar as outras.
Por que as etapas podem ser armazenadas em cache
Como cada etapa tem entradas e saídas fixas, uma ferramenta pode armazenar o resultado em cache. Se as entradas não mudaram, a etapa é totalmente ignorada.
Cada etapa é seu próprio script
Dê a cada etapa um script pequeno com uma função clara. ingest.py, prep.py, train.py e eval.py leem entradas e gravam saídas, nada além disso.
As etapas formam um DAG
As etapas se conectam em um DAG, um grafo direcionado no qual cada passo depende dos anteriores. eval depende de train, train de prep e prep de ingest.
Etapas claras facilitam a depuração
Quando uma execução falha, etapas distintas informam exatamente onde ocorreu o problema. Você pode executar novamente apenas a etapa que falhou, em vez de todo o pipeline.
Verificação rápida
Vamos verificar como as etapas se comunicam.
Recapitulação: ingest, prep, train, eval
Você aprendeu a dividir o treinamento em quatro etapas que podem ser armazenadas em cache e passam os dados por arquivos. Etapas claras significam novas execuções mais rápidas e uma depuração muito mais fácil. 🚀
Aprenda Python com um tutor de IA — grátis
Escreva e execute código real no seu navegador, obtenha ajuda instantânea de um tutor de IA 24/7 e continue de onde parou na web ou no app.
- Cursos
- 30
- Aulas
- 120
Perguntas Frequentes
A aula “Estágios: ingestão, preparação, treinamento, avaliação” é grátis?
Sim — o texto completo de “Estágios: ingestão, preparação, treinamento, avaliação” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de MLOps Academy, atualize para CoddyKit PRO. O curso de MLOps Academy inclui 4 aulas no total.
O que vou aprender em “Estágios: ingestão, preparação, treinamento, avaliação”?
Divida o treinamento em etapas claras e armazenáveis em cache. Você pratica MLOps Academy com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar MLOps Academy?
Nenhuma experiência prévia é necessária. MLOps Academy no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 1 de 4.
Quanto tempo leva a aula “Estágios: ingestão, preparação, treinamento, avaliação”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de MLOps Academy?
Sim. Cada aula de MLOps Academy inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Estágios: ingestão, preparação, treinamento, avaliação
- Defina um pipeline com estágios do DVC
- Armazene em cache e ignore etapas inalteradas
- Parametrize as execuções com params.yaml