모델 성능 평가

머신 러닝 모델의 성능을 평가하는 것은 모델의 효과를 보장하는 데 매우 중요합니다. 분류 문제에서는 정확도, 정밀도, 재현율, F1 score와 같은 지표를 사용합니다.

정확도

정확도는 올바르게 예측한 사례 수를 전체 사례 수와 비교한 비율입니다:

Accuracy = (True Positives + True Negatives) / Total Instances

정확도는 유용하지만, 불균형 데이터 세트에서는 정확도만으로 충분하지 않을 수 있습니다.

정밀도

정밀도는 양성으로 예측한 결과가 얼마나 정확한지에 초점을 맞춥니다:

Precision = True Positives / (True Positives + False Positives)

정밀도가 높다는 것은 거짓 양성이 적다는 의미입니다.

재현율

재현율은 모델이 모든 양성 사례를 정확하게 식별하는 능력을 측정합니다:

Recall = True Positives / (True Positives + False Negatives)

재현율이 높다는 것은 거짓 음성이 적다는 의미입니다.

F1 score

F1 score는 정밀도와 재현율의 조화 평균입니다:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

정밀도와 재현율 사이의 균형을 맞추므로, 특히 불균형 데이터 세트에서 유용합니다.

평가 지표에 사이킷런 사용하기

사이킷런은 다음 평가 지표를 계산하는 함수를 제공합니다:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

혼동 행렬

혼동 행렬은 모델의 성능을 자세히 보여 줍니다:

• 참 양성 (TP): 올바른 양성 예측입니다.
• 거짓 양성 (FP): 잘못된 양성 예측입니다.
• 참 음성 (TN): 올바른 음성 예측입니다.
• 거짓 음성 (FN): 잘못된 음성 예측입니다.

올바른 평가 지표 선택

평가 지표의 선택은 문제에 따라 달라집니다:

• 정확도: 균형 잡힌 데이터셋에서 효과적입니다.
• 정밀도: 거짓 양성의 비용이 클 때 중요합니다.
• 재현율: 거짓 음성의 비용이 클 때 매우 중요합니다.
• F1 점수: 불균형 데이터셋을 위한 균형 잡힌 평가 지표입니다.

요약 및 다음 단계

이 수업에서는 다음 내용을 다루었습니다:

• 모델 성능을 평가하는 평가 지표인 정확도, 정밀도, 재현율, F1 점수
• 사이킷런을 사용하여 이러한 평가 지표를 계산하는 방법
• 혼동 행렬을 해석하는 방법

다음에는 군집화와 같은 비지도 학습 방법을 살펴보겠습니다.