단계: 수집, 준비, 학습, 평가
학습을 명확하고 캐시 가능한 단계로 나누세요.
단계: 수집, 준비, 학습, 평가은(는) CoddyKit의 무료 MLOps Academy 강의입니다. 이것은 4개 중 1번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 MLOps Academy 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. MLOps Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
하나의 큰 스크립트에서 단계로
모든 작업을 수행하는 하나의 train.py는 재사용하기 어렵고 디버깅도 느립니다. 이를 단계로 나누면 각 작업이 명확해지고 독립적으로 실행할 수 있습니다. 🧩
대표적인 네 단계
대부분의 학습 파이프라인은 같은 형태를 따릅니다. 바로 수집, 준비, 학습, 평가입니다. 각 단계는 입력을 받아 다음 단계가 읽을 출력을 만듭니다.
1단계: 수집
수집 단계는 데이터베이스나 버킷과 같은 원본에서 원시 데이터를 가져와 알고 있는 로컬 경로에 기록합니다. 아직 정제 작업은 하지 않습니다.
import pandas as pd
df = pd.read_csv("s3://bucket/raw.csv")
df.to_parquet("data/raw.parquet")2단계: 준비
준비 단계는 원시 데이터를 정제하고 변환하여 모델이 사용할 수 있는 특성으로 만듭니다. 결측값 처리, 인코딩, 학습 세트와 테스트 세트로 나누는 작업을 수행합니다.
3단계: 학습
학습 단계는 준비된 특성을 읽고 모델을 적합한 뒤, 다음 단계가 점수를 계산할 수 있도록 적합된 아티팩트를 디스크에 저장합니다.
model.fit(X_train, y_train)
joblib.dump(model, "models/model.pkl")4단계: 평가
평가 단계는 저장된 모델을 불러와 분리해 둔 테스트 세트에서 점수를 계산하고, 정확도와 같은 평가지표를 추적할 수 있는 파일에 기록합니다.
score = model.score(X_test, y_test)
json.dump({"accuracy": score}, open("metrics.json", "w"))단계는 변수가 아니라 파일을 전달합니다
단계들은 메모리의 변수가 아니라 디스크의 파일을 통해 서로 통신합니다. 이러한 분리가 있기에 다른 단계는 다시 실행하지 않고 한 단계만 다시 실행할 수 있습니다.
단계를 캐시할 수 있는 이유
각 단계에는 고정된 입력과 출력이 있으므로 도구가 그 결과를 캐시할 수 있습니다. 입력이 바뀌지 않았다면 해당 단계 전체를 건너뜁니다.
각 단계는 자체 스크립트입니다
각 단계에 명확한 작업을 수행하는 작은 스크립트 하나를 지정하세요. ingest.py, prep.py, train.py, eval.py는 입력을 읽고 출력만 작성합니다.
단계가 DAG를 구성합니다
단계들은 각 단계가 앞선 단계에 의존하는 방향성 그래프인 DAG로 연결됩니다. 평가는 학습에, 학습은 준비에, 준비는 수집에 의존합니다.
명확한 단계는 디버깅을 쉽게 합니다
실행이 실패하면 서로 구분된 단계 덕분에 정확히 어디에서 문제가 발생했는지 알 수 있습니다. 전체 파이프라인 대신 실패한 단계만 다시 실행할 수 있습니다.
빠른 확인
단계들이 어떻게 통신하는지 확인해 보겠습니다.
복습: 수집, 준비, 학습, 평가
학습을 데이터를 파일로 전달하는 네 개의 캐시 가능한 단계로 나누는 방법을 배웠습니다. 명확한 단계는 더 빠른 재실행과 훨씬 쉬운 디버깅을 가능하게 합니다. 🚀
자주 묻는 질문
“단계: 수집, 준비, 학습, 평가” 강의는 무료인가요?
네 — “단계: 수집, 준비, 학습, 평가” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 MLOps Academy 강의 전체를 잠금 해제할 수 있습니다. MLOps Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
“단계: 수집, 준비, 학습, 평가”에서 뭘 배우나요?
학습을 명확하고 캐시 가능한 단계로 나누세요. 브라우저에서 직접 실행하는 실습 코드로 MLOps Academy을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.
MLOps Academy을(를) 시작하는 데 경험이 필요한가요?
사전 경험은 필요하지 않습니다. CoddyKit의 MLOps Academy은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 1번째 강의입니다.
“단계: 수집, 준비, 학습, 평가” 강의는 얼마나 걸리나요?
대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.
이 MLOps Academy 강의에서 코드를 작성하고 실행할 수 있나요?
네. 모든 MLOps Academy 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.
이 강의의 모든 강의
- 단계: 수집, 준비, 학습, 평가
- DVC 단계로 파이프라인 정의하기
- 변경되지 않은 단계 캐시하고 건너뛰기
- params.yaml로 실행 매개변수화하기