머신러닝 관측 가능성의 네 가지 기둥

감시는 서비스가 실행 중인지 알려 줍니다. 관측성이 있으면 미리 예상하지 못한 질문에 대해서도 모델이 왜 그런 방식으로 동작하는지 물을 수 있습니다. 🔍

머신러닝 관측성은 네 가지 핵심 요소를 기반으로 합니다. 입력되는 데이터, 모델과 그 예측, 시간에 따른 드리프트, 각 출력에 대한 설명 가능성입니다.

첫 번째 기둥은 데이터 품질입니다. 결측값, 손상된 스키마, 비정상적인 범위를 모델에 도달하기 전에 확인합니다.

두 번째 기둥은 모델 성능입니다. 오프라인 테스트 세트뿐 아니라 실제 예측에서 정확도, 정밀도 또는 비즈니스 지표를 추적합니다.

세 번째 기둥은 드리프트입니다. 세상은 변하므로 입력과 입력에서 출력으로 이어지는 관계가 학습에 사용한 것과 서서히 달라집니다.

네 번째 기둥은 설명 가능성입니다. 예측이 잘못된 것처럼 보일 때 어떤 특성이 그런 결과를 이끌었는지 확인해야 합니다.

각 기둥은 다른 기둥이 놓치는 장애를 찾아냅니다. 데이터가 깨끗해도 대상값에 드리프트가 발생하면 문제가 생기므로 네 가지를 모두 함께 살펴봅니다.

좋은 관측 가능성은 시간이 지나면서 세 가지를 연결합니다. 모델이 본 입력, 모델이 낸 출력, 그리고 그 뒤에 실제로 발생한 결과입니다.

실제 레이블은 며칠 늦게 도착하는 경우가 많습니다. 그때까지는 데이터와 드리프트 신호를 문제를 조기에 알리는 경고로 활용합니다.

Evidently와 같은 라이브러리는 데이터 품질, 드리프트, 모델 점검을 위한 바로 사용할 수 있는 보고서로 이러한 기둥을 묶어 제공합니다.

팀 전체가 같은 네 가지 기둥을 사용해 이름을 붙이면, 잘못된 모델을 디버깅하는 일이 추측 게임이 아니라 점검 목록을 따르는 작업이 됩니다.

ML 관측 가능성은 네 가지 기둥, 즉 데이터 품질, 모델 성능, 드리프트, 설명 가능성으로 구성됩니다. 이들은 무엇이 고장 났는지뿐 아니라 그 이유까지 함께 알려 줍니다. ✅