모델 평가 및 저장

학습된 모델은 일반화할 수 있을 때만 유용합니다. 따라서 다음 단계에서는 학습 중 한 번도 보지 않은 데이터로 모델을 evaluate해야 합니다.

Trainer는 한 번의 호출로 검증 세트의 점수를 계산하고, 정확도와 손실처럼 설정한 평가 지표를 반환할 수 있습니다.

불균형한 데이터에서는 정확도가 오해를 불러올 수 있습니다. 클래스의 분포가 고르지 않다면 정밀도와 재현율을 모두 반영하는 F1을 사용하십시오.

evaluate 라이브러리는 자주 사용하는 점수 계산을 제공하므로 수식을 직접 작성하지 않고도 F1이나 정확도를 계산할 수 있습니다.

한 번만 사용하는 별도의 테스트 세트를 유지하십시오. 조정 편향이 없는 정직한 최종 추정치를 얻을 수 있습니다.

미세 조정된 가중치를 디스크에 보존하면 다시 학습하지 않고 언제든 불러올 수 있습니다. 이렇게 모델과 토크나이저를 저장합니다.

불러오기는 저장의 반대 과정입니다. 폴더를 from_pretrained에 지정하면 완전한 모델이 예측 가능한 상태로 돌아옵니다.

저장한 모델을 파이프라인에 넣으면 수동으로 토큰화하지 않고도 새 텍스트에 즉시 간단하게 추론을 실행할 수 있습니다.

한 번 push하면 모델이 허깅페이스 허브에 업로드되므로 팀원들이 어디서든 이름으로 불러올 수 있습니다.

허브는 git처럼 수정 이력을 추적하므로 각 체크포인트를 재현할 수 있고 언제든 이전 상태로 되돌릴 수 있습니다.

모델 카드에는 데이터, 지표, 제한 사항이 기록됩니다. 이를 통해 다른 사람들이 만든 결과를 신뢰하고 재사용할 수 있습니다. 📋

보지 못한 데이터에서 알맞은 지표로 평가하고, 모델과 토크나이저를 저장한 다음 다시 불러오거나 허브에 push하여 공유하십시오. ✅