Этапы: получение, подготовка, обучение, оценка
Разделите обучение на понятные этапы, результаты которых можно кэшировать
«Этапы: получение, подготовка, обучение, оценка» — бесплатный урок MLOps Academy на CoddyKit. Это урок 1 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения MLOps Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс MLOps Academy содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
From One Big Script to Stages
A single train.py that does everything is hard to reuse and slow to debug. Splitting it into stages makes each step clear and independently runnable. 🧩
The Four Classic Stages
Most training pipelines follow the same shape: ingest, prep, train, eval. Each stage takes inputs and produces outputs the next one reads.
Stage 1: Ingest
The ingest stage pulls raw data from its source, like a database or bucket, and writes it to a known local path. Nothing is cleaned yet.
import pandas as pd
df = pd.read_csv("s3://bucket/raw.csv")
df.to_parquet("data/raw.parquet")Stage 2: Prep
The prep stage cleans and transforms raw data into model-ready features. It handles missing values, encoding, and splitting into train and test sets.
Stage 3: Train
The train stage reads prepared features and fits the model, then saves the fitted artifact to disk for the next stage to score.
model.fit(X_train, y_train)
joblib.dump(model, "models/model.pkl")Stage 4: Eval
The eval stage loads the saved model, scores it on the held-out test set, and writes metrics like accuracy to a file you can track.
score = model.score(X_test, y_test)
json.dump({"accuracy": score}, open("metrics.json", "w"))Stages Pass Files, Not Variables
Stages talk to each other through files on disk, not in-memory variables. That decoupling is what lets you re-run one stage without the others.
Why Stages Are Cacheable
Because each stage has fixed inputs and outputs, a tool can cache its result. If the inputs did not change, the stage is skipped entirely.
Each Stage Is Its Own Script
Give every stage one small script with a clear job. ingest.py, prep.py, train.py, eval.py read inputs and write outputs, nothing more.
Stages Form a DAG
Stages connect into a DAG, a directed graph where each step depends on the ones before it. Eval depends on train, train on prep, prep on ingest.
Clear Stages Make Debugging Easy
When a run fails, distinct stages tell you exactly where it broke. You can re-run just the failed stage instead of the whole pipeline.
Quick Check
Let us check how stages communicate.
Recap: Ingest, Prep, Train, Eval
You learned to split training into four cacheable stages that pass data through files. Clear stages mean faster reruns and far easier debugging. 🚀
Часто задаваемые вопросы
Урок «Этапы: получение, подготовка, обучение, оценка» бесплатный?
Да — полный текст урока «Этапы: получение, подготовка, обучение, оценка» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс MLOps Academy, подпишись на CoddyKit PRO. Курс MLOps Academy содержит 4 уроков всего.
Чему я научусь в уроке «Этапы: получение, подготовка, обучение, оценка»?
Разделите обучение на понятные этапы, результаты которых можно кэшировать Ты практикуешь MLOps Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать MLOps Academy?
Предыдущий опыт не требуется. MLOps Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 1 из 4.
Сколько времени занимает урок «Этапы: получение, подготовка, обучение, оценка»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке MLOps Academy?
Да. Каждый урок MLOps Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Этапы: получение, подготовка, обучение, оценка
- Определение конвейера с этапами DVC
- Кэширование и пропуск неизменившихся этапов
- Настройка параметров запусков с помощью params.yaml