데이터 파이프라인 단위 테스트 작성하기
pytest로 형태, 유형, 범위를 검증하세요.
데이터 파이프라인 단위 테스트 작성하기은(는) CoddyKit의 무료 MLOps Academy 강의입니다. 이것은 4개 중 1번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 MLOps Academy 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. MLOps Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
모델뿐 아니라 데이터도 테스트하기
대부분의 ML 버그는 모델이 아니라 데이터 파이프라인에 숨어 있습니다. 데이터에 몇 가지 간단한 단위 테스트만 작성해도 학습을 시작하기 훨씬 전에 문제를 발견할 수 있습니다. 🧪
pytest가 제공하는 것
일반 함수로 테스트를 작성하면 pytest가 테스트를 찾아 실행합니다. 실패하는 assert는 명확하고 읽기 쉬운 실패 보고서로 바뀝니다.
데이터 테스트의 구성
데이터 테스트는 샘플을 불러오고, 변환을 호출한 다음, 기대 조건을 단언합니다. 핵심 도구는 통과 또는 실패를 결정하는 assert 문입니다.
def test_no_nulls(df):
assert df["age"].notna().all()형상 단언하기
파이프라인은 열을 조용히 삭제하거나 추가할 수 있습니다. 형상을 고정하여 10개 열의 데이터프레임이 눈치채지 못한 채 9개 열로 통과하지 않도록 하세요.
def test_shape(df):
assert df.shape[1] == 10열 유형 단언하기
숫자를 텍스트로 읽으면 학습이 조용히 망가집니다. 각 열의 자료형을 고정하여 유형 변경이 모델이 아니라 테스트를 실패하게 하세요.
def test_dtype(df):
assert df["price"].dtype == "float64"타당한 범위 단언하기
불가능한 값을 차단하세요. 범위 검사는 음수 나이나 300% 확률이 모델에 도달하는 것을 막습니다.
def test_range(df):
assert df["age"].between(0, 120).all()누락값 포착하기
누락값은 가장 흔한 데이터 버그입니다. 중요한 열에 누락값이 없는지, 또는 누락값이 알려진 임계값 이하인지 단언하세요.
작은 테스트용 데이터 사용하기
테스트는 밀리초 안에 실행되어야 합니다. pytest 테스트용 데이터는 직접 만든 작은 데이터프레임을 구성하므로 테스트가 빠르고 실제 데이터에 전혀 접근하지 않습니다.
import pytest
@pytest.fixture
def df():
return load_sample()각 변환을 따로 테스트하기
한 번에 한 단계씩 테스트하면 실패 원인을 정확히 찾을 수 있습니다. 이것이 바로 단위 테스트입니다. 작고 독립적이며 디버깅이 빠릅니다.
전체 테스트 실행하기
명령 하나로 모든 테스트를 실행하고 녹색 또는 빨간색 요약을 출력할 수 있습니다. 로컬에서 pytest를 실행하고, 모든 푸시마다 CI에서도 다시 실행하세요.
# in your terminal
pytest -q경계 사례를 의도적으로 테스트하기
빈 데이터프레임, 한 행, 또는 모든 값이 누락된 입력을 넣어 보세요. 좋은 경계 사례 테스트는 파이프라인이 조용히 실패하지 않고 명확하게 실패한다는 것을 보여 줍니다.
빠른 확인
열이 잘못된 유형으로 읽히는 것을 가장 잘 방지하는 검사는 무엇입니까?
복습: 테스트로 데이터 버그 포착하기
이제 pytest로 데이터를 단위 테스트합니다. 작은 테스트용 데이터에서 형상, 유형, 범위, 누락값을 단언하므로 잘못된 데이터가 사용자가 아니라 빌드를 실패하게 합니다. ✅
자주 묻는 질문
“데이터 파이프라인 단위 테스트 작성하기” 강의는 무료인가요?
네 — “데이터 파이프라인 단위 테스트 작성하기” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 MLOps Academy 강의 전체를 잠금 해제할 수 있습니다. MLOps Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
“데이터 파이프라인 단위 테스트 작성하기”에서 뭘 배우나요?
pytest로 형태, 유형, 범위를 검증하세요. 브라우저에서 직접 실행하는 실습 코드로 MLOps Academy을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.
MLOps Academy을(를) 시작하는 데 경험이 필요한가요?
사전 경험은 필요하지 않습니다. CoddyKit의 MLOps Academy은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 1번째 강의입니다.
“데이터 파이프라인 단위 테스트 작성하기” 강의는 얼마나 걸리나요?
대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.
이 MLOps Academy 강의에서 코드를 작성하고 실행할 수 있나요?
네. 모든 MLOps Academy 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.
이 강의의 모든 강의
- 데이터 파이프라인 단위 테스트 작성하기
- 모델 동작 테스트
- 품질 게이트와 임계값 설정하기
- Great Expectations로 데이터 검증하기