인공지능 시스템 관측 가능성 및 모니터링

모델을 배포했다고 해서 작업이 끝난 것은 아닙니다. 트래픽이 급증하고 지연 시간이 늘어나며, 세상이 변하면서 데이터 분포가 학습 때와 달라집니다. 관측성은 사용자가 문제를 겪기 전에 시스템이 정상인지, 모델이 여전히 정확한지 알려 줍니다.

머신러닝 관측성은 두 계층을 다룹니다.

• 운영: 지연 시간, 처리량, 오류, 리소스 사용량(다른 서비스와 동일)
• 모델: 데이터 분포 변화, 예측 분포, 시간에 따른 정확성(머신러닝 특화 항목)

Prometheus는 시계열 지표를 수집하는 표준 시스템입니다. 서비스가 지표 엔드포인트를 제공하면 Prometheus가 일정한 간격으로 이를 수집하고, 조회 및 알림을 위해 값을 저장합니다.

Prometheus 히스토그램으로 추론 지연 시간을 기록합니다. 히스토그램을 사용하면 오해를 일으킬 수 있는 평균 대신 지연 시간을 요약하는 올바른 방법인 백분위수를 계산할 수 있습니다.

지연 시간은 백분위수로 보고합니다. P50(중앙값)은 일반적인 사용자 경험을 나타내고, P95는 요청의 5%가 초과하는 느린 구간을 나타냅니다. 일부 요청만 느려도 사용자에게 불편을 주므로 P95를 관찰하면 평균이 숨기는 문제를 포착할 수 있습니다.

Grafana는 Prometheus 지표를 실시간 대시보드로 시각화합니다. 일반적인 모델 대시보드는 요청률, 오류율, P50/P95 지연 시간, 예측 분포를 한 화면에 보여 주어 시스템 상태를 한눈에 확인할 수 있게 합니다.

데이터 드리프트는 실시간 입력 분포가 학습 분포에서 벗어날 때 발생합니다. 모델은 오래된 패턴에 fit되어 있으므로 입력이 드리프트하면 코드가 변경되지 않았더라도 정확도가 조용히 저하됩니다.

모집단 안정성 지수(PSI)는 현재 특성의 분포와 학습 시점의 분포를 비교하여 드리프트를 정량화합니다. 두 분포를 구간으로 나눈 다음, 각 구간의 가중 로그 비율을 합산합니다.

일반적인 PSI 기준은 다음과 같습니다:

• PSI < 0.1: 유의미한 드리프트 없음
• 0.1~0.2: 중간 정도의 드리프트, 조사 필요
• PSI > 0.2: 유의미한 드리프트, 모델 재학습 필요 가능성 높음

PSI가 0.2를 넘을 때 알림을 보내는 것이 일반적인 관행입니다.

가장 중요한 모니터링 신호는 실제 결과입니다. 피드백 루프는 사용자의 수정 사항과 실제 정답 레이블(예: 추천을 클릭했는지, 사기 표시가 올바른지)을 수집하여 새로운 학습 데이터로 다시 전달합니다.

드리프트 감지와 피드백 루프는 함께 재학습을 시작합니다. PSI가 임계값을 넘거나 최신 레이블에 대한 정확도가 떨어지면 파이프라인이 최근 데이터로 모델을 재학습하고 다시 배포합니다. 이를 통해 변화하는 환경에 맞게 모델을 유지할 수 있습니다.

AI 시스템의 관측 가능성과 모니터링에 대해 배웠습니다:

• 프로메테우스는 메트릭을 수집하며, 추론 지연 시간은 P50/P95로 보고합니다
• 그라파나 대시보드는 상태를 한눈에 시각화합니다
• 데이터 드리프트는 PSI로 측정하며, PSI > 0.2이면 재학습이 필요합니다
• 피드백 루프는 사용자의 수정 사항을 재학습 데이터로 바꿉니다