한 장의 그림으로 보는 머신러닝 수명 주기

ML의 전체 수명 주기는 데이터, 학습, 평가, 배포, 모니터링, 재학습이라는 한 장의 그림으로 나타낼 수 있습니다. 직선이 아니라 계속 돌아가는 원입니다. 🔄

모든 모델은 데이터에서 시작합니다. 데이터를 수집하고, 정제하고, 레이블을 지정합니다. 여기서 잘못된 데이터가 들어가면 이후의 모든 단계에서도 문제가 생깁니다.

다음은 학습입니다. 모델이 준비된 데이터에서 패턴을 배웁니다. 사람들이 ML을 생각할 때 가장 먼저 떠올리는 단계이기도 합니다.

모델을 신뢰하기 전에 모델이 본 적 없는 데이터로 평가해야 합니다. 따로 보관한 테스트 세트는 모델이 실제로 학습했는지, 아니면 단순히 외웠는지 알려 줍니다.

배포한다는 것은 모델이 실제 요청에 답할 수 있는 곳에 배치한다는 뜻입니다. 보통 앱과 사용자가 호출할 수 있도록 API 뒤에 배치합니다.

서비스를 시작한 뒤에는 모델을 모니터링합니다. 정확도, 지연 시간, 들어오는 데이터를 지켜보며 사용자가 알아차리기 전에 문제를 발견합니다.

세상이 변하면 새로운 데이터로 재학습한 다음 평가와 배포 과정을 다시 거칩니다. 이 순환은 진정으로 끝나지 않습니다.

실제 결과는 새로운 레이블 데이터로 다시 들어옵니다. 이 피드백 순환이 한 번만 사용하는 모델을 시간이 지날수록 개선되는 시스템으로 바꿉니다.

모든 단계에는 고유한 도구가 있습니다. 데이터에는 DVC, 학습에는 MLflow, 서비스 제공에는 FastAPI를 사용합니다. 수명 주기는 이 모든 도구를 연결하는 지도입니다.

놀랍게도 학습은 작은 부분에 불과합니다. 팀은 학습 자체보다 데이터 준비와 모델을 둘러싼 운영에 대부분의 노력을 씁니다.

MLOps의 목표는 새로운 데이터부터 새로운 운영 모델에 이르기까지 각 인계 과정을 자동화하여, 수작업을 거의 하지 않고도 순환이 진행되게 하는 것입니다.

수명 주기의 순환 과정이 머릿속에 분명하게 정리되었는지 확인해 보겠습니다.

데이터, 학습, 평가, 배포, 모니터링, 재학습을 거친 뒤 다시 반복합니다. 이 수명 주기를 기억하면 모든 MLOps 도구가 제자리를 찾게 됩니다. 🗺️