메트릭, 대시보드와 SLI/SLO

메트릭 수집은 첫 단계일 뿐입니다. 신뢰할 수 있는 시스템을 운영하려면 수치를 실제 사용자 경험을 반영하는 대시보드와 서비스 수준 목표로 바꿔야 합니다.

Google SRE는 모든 서비스에서 네 가지 신호를 관찰할 것을 권장합니다. 지연 시간, 트래픽, 오류, 포화도입니다. 이 네 가지는 사용자에게 영향을 미치는 대부분의 문제를 포괄합니다.

일반적인 메트릭 형태는 다음과 같습니다. 카운터는 요청 처리 건수처럼 증가하기만 하고, 게이지는 사용 중인 메모리처럼 오르내리며, 히스토그램은 요청 처리 시간처럼 값을 구간별로 나눕니다.

Prometheus와 같은 시계열 데이터베이스는 쿼리 언어를 사용해 메트릭을 분석합니다. 여기서는 5분 동안의 초당 요청률을 계산합니다.

Grafana와 같은 도구는 쿼리 결과를 패널로 변환합니다. 좋은 대시보드는 한눈에 질문에 답합니다. 지금 서비스가 정상인가요?

• 첫 번째 행: 골든 시그널
• 아래쪽 패널: 세부 분석
• 일관된 시간 범위

서비스 수준 지표는 사용자 만족도를 반영하는 측정값입니다. 예를 들어 요청이 성공적으로, 그리고 빠르게 처리된 비율이 있습니다.

서비스 수준 목표는 일정 기간 동안의 SLI 목표입니다. 예를 들어 30일 동안 요청의 99.9%가 성공해야 한다는 식입니다. 이를 통해 어느 정도가 충분히 좋은 상태인지 정의합니다.

SLA는 고객에게 하는 계약상의 약속이며, 위반 시 보상이 따르는 경우가 많습니다. SLO는 조직 내부의, 일반적으로 더 엄격한 엔지니어링 목표입니다.

SLO가 99.9%라면 남은 0.1%가 오류 예산입니다. 이는 감당할 수 있는 실패의 범위입니다. 위험한 배포에 사용하되, 모두 소진되면 속도를 늦추고 시스템을 안정화하세요.

모든 CPU 변동에 알림을 보내는 대신, 높은 오류율이나 느린 응답처럼 사용자가 체감하는 문제에 대해 담당자에게 호출 알림을 보내세요. 증상 기반 알림은 불필요한 알림과 피로를 줄입니다.

대시보드가 너무 많은 것은 하나도 없는 것만큼이나 나쁩니다. 수십 개의 오래된 대시보드 대신 SLO에 연결되고 신뢰할 수 있으며 담당자가 관리하는 소수의 대시보드를 유지하세요.

SLO와 오류 예산은 어떤 관계인가요?

이제 모니터링을 의미 있게 만들 수 있습니다.

• 네 가지 골든 시그널을 관찰합니다.
• 카운터, 게이지, 히스토그램을 이해하고 rate()로 조회합니다.
• 측정값인 SLI와 목표인 SLO를 정의합니다.
• 오류 예산으로 배포 속도를 조절하고 증상에 알림을 보냅니다.

신뢰성은 막연히 기대하는 것이 아니라 측정하고 조정하는 대상이 됩니다.