알림 및 장애 대응

DevOps에서 모니터링은 현재 어떤 일이 일어나는지 파악하는 데 도움이 됩니다. 하지만 보는 것만으로는 충분하지 않습니다. 문제가 발생했을 때 이를 알아야 합니다!

알림은 특정 조건이 충족될 때 발생하여 잠재적인 문제를 알려 주는 통지입니다. 시스템의 경보음이라고 생각해 보세요.

효과적인 알림은 수동적인 모니터링을 능동적인 문제 해결로 바꿉니다. 알림은 다음과 같은 목적에 필수적입니다.

• 조기 감지: 사용자에게 영향이 발생하기 전에 문제를 발견합니다.
• 신속한 해결: 적절한 팀에 즉시 알립니다.
• 서비스 중단 방지: 사소한 문제가 커지기 전에 해결합니다.

알림이 발생하면 대개 장애를 의미합니다. 장애란 서비스가 계획에 없이 중단되거나 서비스 품질이 저하되는 상황입니다.

서버가 중단되거나, 데이터베이스가 응답하지 않거나, 애플리케이션 오류율이 급증하는 경우가 그 예입니다.

알림은 다양한 지표나 로그를 기준으로 설정합니다. 다음은 일반적인 발생 조건입니다.

• 임계값: CPU 사용률이 5분 동안 90%를 초과하는 경우
• 오류율: HTTP 500 오류가 전체 요청의 1%를 초과하는 경우
• 가용성: 서비스가 응답을 반환하지 않는 경우
• 로그 패턴: 특정 오류 메시지가 로그에 나타나는 경우

모든 알림이 똑같이 긴급한 것은 아닙니다. 대응의 우선순위를 정하기 위해 심각도에 따라 분류합니다.

• 심각: 서비스가 중단되었거나 심각하게 저하된 상태입니다. 즉시 조치가 필요합니다.
• 경고: 잠재적인 문제가 발생하고 있어 곧 주의가 필요합니다.
• 정보: 긴급하지 않은 이벤트로, 상황을 파악하기 위한 용도입니다.

알림이 발생하면 적절한 사람에게 전달되어야 합니다. 일반적인 알림 채널은 다음과 같습니다.

• 이메일: 긴급하지 않은 경고나 정보성 알림에 사용합니다.
• 채팅(예: Slack): 팀 전체에 상황을 알리고 협력하여 원인을 진단하는 데 적합합니다.
• SMS/전화: 즉각적인 대응이 필요한 심각한 알림에 사용하며, PagerDuty 같은 당직 관리 도구를 통해 전달하는 경우가 많습니다.

장애 대응은 장애를 처리하고 해결하기 위한 체계적인 과정입니다. 일반적인 흐름은 다음과 같습니다.

1. 감지: 알림이 발생합니다.
2. 분류: 심각도와 영향을 평가합니다.
3. 진단: 근본 원인을 파악합니다.
4. 해결: 문제를 수정합니다.
5. 복구: 서비스 기능을 완전히 복원합니다.
6. 사후 검토: 장애에서 교훈을 얻습니다.

실행 지침서는 일반적인 장애를 해결하는 단계를 자세히 설명한 안내서입니다. 실행 지침서는 다음과 같은 이유로 중요합니다.

• 일관성: 장애를 일관된 방식으로 처리할 수 있습니다.
• 속도: 진단과 해결에 걸리는 시간을 줄입니다.
• 지식 전달: 새 팀원이 효과적으로 대응할 수 있도록 지원합니다.

장애가 해결된 후에는 장애 후 검토(또는 사후 분석)가 중요합니다. 이는 책임을 묻지 않고 다음 사항에 집중하는 분석입니다.

• 무슨 일이 일어났나요?
• 왜 그런 일이 일어났나요?
• 무엇이 그 일을 방지할 수 있었나요?
• 재발을 방지하기 위해 어떤 조치를 취할 수 있나요?

목표는 책임을 묻는 것이 아니라 지속적으로 개선하는 것입니다.

장애 대응에서 실행 지침서의 주요 목적을 가장 잘 설명한 것은 무엇인가요?

특정 조건에 따라 발생하여 시스템의 경보 역할을 하는 알림에 대해 살펴보았습니다. 또한 다양한 심각도 수준과 알림 채널에 대해 배웠습니다.

장애 대응 흐름을 이해하고 실행 지침서를 활용하는 것은 문제를 효율적으로 처리하는 데 핵심입니다. 마지막으로 장애 후 검토는 지속적인 학습과 시스템 개선을 이끕니다.