교차 검증 전략
k겹, 계층화된 k겹, 일회성 제외, 시계열 분할을 언제 사용할지 학습합니다.
교차 검증 전략은(는) CoddyKit의 무료 Learn AI with Python 강의입니다. 이것은 4개 중 1번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 Learn AI with Python 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. Learn AI with Python 강의에는 총 4개의 강의가 포함되어 있습니다.
교차 검증이 필요한 이유
한 번의 학습/테스트 분할은 운이 좋거나 나쁠 수 있습니다. 교차 검증은 서로 다른 분할에서 평가를 반복하고 점수를 평균내므로 성능을 더 신뢰성 있게 추정할 수 있습니다.
K-폴드 교차 검증
KFold는 데이터를 K개의 동일한 부분으로 나눕니다. 각 폴드는 한 번씩 테스트 집합으로 사용되고, 나머지 부분으로 모델을 학습합니다. 평균을 낼 수 있는 K개의 점수를 얻습니다.
from sklearn.model_selection import KFold
kf = KFold(n_splits=5, shuffle=True, random_state=0)
for train_idx, test_idx in kf.split(X):
Xtr, Xte = X[train_idx], X[test_idx]
ytr, yte = y[train_idx], y[test_idx]
# train and evaluate here분류를 위한 계층적 K-폴드
분류에서는 일반 K-폴드를 사용하면 클래스 비율이 불균형한 폴드가 만들어질 수 있습니다. StratifiedKFold는 모든 폴드에서 클래스 비율을 유지합니다.
from sklearn.model_selection import StratifiedKFold
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
for train_idx, test_idx in skf.split(X, y):
# each fold keeps the same class balance as the full set
passcross_val_score 간편 사용법
cross_val_score는 전체 반복 과정을 대신 실행하고 폴드별 점수 배열을 반환합니다. 분류기에는 자동으로 StratifiedKFold를 사용합니다.
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier
clf = RandomForestClassifier(random_state=0)
scores = cross_val_score(clf, X, y, cv=5, scoring="accuracy")
print(scores)
print("Mean:", scores.mean(), "Std:", scores.std())폴드 수 선택
폴드 수가 많으면(예: 10) 편향이 더 작은 추정치를 얻을 수 있지만 계산 비용이 커집니다. 5-폴드는 일반적으로 균형 잡힌 선택입니다. 매우 작은 데이터셋에서는 하나씩 제외하는 방식을 사용하여 각 테스트 집합에 샘플 하나만 포함되도록 N개의 폴드를 만듭니다.
from sklearn.model_selection import LeaveOneOut, cross_val_score
loo = LeaveOneOut()
scores = cross_val_score(clf, X, y, cv=loo)
print("Mean:", scores.mean())시계열 데이터를 위한 TimeSeriesSplit
시계열에서는 미래 데이터로 절대 학습해서는 안 됩니다. TimeSeriesSplit은 항상 과거 데이터로 학습하고 다음 블록으로 테스트하며, 폴드가 진행될수록 학습 구간을 확장합니다.
from sklearn.model_selection import TimeSeriesSplit
tscv = TimeSeriesSplit(n_splits=5)
for train_idx, test_idx in tscv.split(X):
# train_idx always precedes test_idx in time
print(len(train_idx), len(test_idx))시계열에서 순서가 중요한 이유
시간 순서가 있는 데이터를 섞으면 미래 정보가 학습 데이터로 누수되어 점수가 부풀려집니다. TimeSeriesSplit은 시간 순서를 지키므로 평가가 실제 예측 환경을 반영합니다.
여러 지표를 위한 cross_validate
cross_validate는 cross_val_score와 비슷하지만 여러 지표를 한 번에 반환하며 학습 점수와 fit 시간도 포함할 수 있습니다.
from sklearn.model_selection import cross_validate
results = cross_validate(
clf, X, y, cv=5,
scoring=["accuracy", "f1_macro", "roc_auc_ovr"],
return_train_score=True,
)
print(results["test_accuracy"])
print(results["test_f1_macro"])cross_validate 출력 읽기
결과는 test_<metric>, train_<metric>, fit_time, score_time과 같은 키를 가진 딕셔너리입니다. 학습 점수와 테스트 점수를 비교하면 과적합을 진단하는 데 도움이 됩니다.
import numpy as np
gap = results["train_accuracy"].mean() - results["test_accuracy"].mean()
print("Overfit gap:", gap)
print("Avg fit time:", np.mean(results["fit_time"]))교차 검증과 데이터 누수
전처리(스케일링, 인코딩)는 항상 CV 루프 내부에서 적합하고, 그 전에 적합하지 마십시오. Pipeline을 사용하면 각 폴드가 해당 폴드의 학습 데이터만 사용하여 스케일링하므로 누수를 방지할 수 있습니다.
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score
pipe = make_pipeline(StandardScaler(), SVC())
scores = cross_val_score(pipe, X, y, cv=5)적절한 전략 선택
분류에는 StratifiedKFold, 회귀에는 일반 KFold, 시계열 데이터에는 TimeSeriesSplit을 사용하십시오. 전처리는 파이프라인으로 감싸고, 폴드 전체에서 mean과 표준편차를 보고하십시오.
빠른 확인
교차 검증 지식을 테스트해 보십시오.
복습
복습: 교차 검증은 여러 분할에서 얻은 성능을 평균냅니다. 회귀에는 KFold, 균형 잡힌 분류에는 StratifiedKFold, 시계열 데이터에는 TimeSeriesSplit을 사용하십시오. cross_val_score는 하나의 지표를 제공하고, cross_validate는 여러 지표와 소요 시간을 제공합니다. 누수를 방지하려면 항상 Pipeline 내부에서 전처리하십시오.
자주 묻는 질문
“교차 검증 전략” 강의는 무료인가요?
네 — “교차 검증 전략” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 Learn AI with Python 강의 전체를 잠금 해제할 수 있습니다. Learn AI with Python 강의에는 총 4개의 강의가 포함되어 있습니다.
“교차 검증 전략”에서 뭘 배우나요?
k겹, 계층화된 k겹, 일회성 제외, 시계열 분할을 언제 사용할지 학습합니다. 브라우저에서 직접 실행하는 실습 코드로 Learn AI with Python을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.
Learn AI with Python을(를) 시작하는 데 경험이 필요한가요?
사전 경험은 필요하지 않습니다. CoddyKit의 Learn AI with Python은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 1번째 강의입니다.
“교차 검증 전략” 강의는 얼마나 걸리나요?
대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.
이 Learn AI with Python 강의에서 코드를 작성하고 실행할 수 있나요?
네. 모든 Learn AI with Python 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.