실패와 악용 알림

대시보드는 누군가 보고 있을 때만 도움이 됩니다. 경고는 이를 반대로 바꿉니다. 문제가 발생하는 순간 시스템이 알려 주는 것입니다. 🔔

모든 내부 변동이 아니라 높은 오류율처럼 사용자에게 나타나는 증상에 경고를 설정하십시오. 그러면 유용한 신호는 높이고 잡음은 줄일 수 있습니다.

경고에는 명확한 임계값이 필요합니다. 예를 들어 오류율이 5%를 넘을 때 경고를 발생시키는 방식입니다. 이 기준선이 측정값을 참과 거짓 중 하나로 판단할 수 있는 결정으로 바꿔 줍니다.

5분과 같은 시간 구간을 기준으로 임계값을 판단하십시오. 한 번의 잘못된 호출 때문에 호출 알림을 받을 필요는 없지만, 급증이 계속된다면 알려야 합니다.

느린 것도 일종의 장애입니다. p99 지연 시간이 허용 예산을 넘으면 경고하십시오. 멈춰 있는 서버는 오류를 내는 서버만큼이나 사용자에게 피해를 줍니다.

갑자기 호출이 폭증하면 제어되지 않는 모델이나 공격자 때문일 수 있습니다. 비정상 트래픽에 경고를 설정하면 예산이 소진되기 전에 악용을 포착할 수 있습니다. 🚨

경고를 속도 제한과 함께 사용하십시오. 조사하는 동안 클라이언트별 호출 수를 제한하여 악용을 억제할 수 있으며, 그 전에 백엔드가 먼저 과부하되는 일도 막을 수 있습니다.

기본적인 카운터 확인만으로도 한 시간 구간의 호출 수가 평소 기준을 크게 넘을 때 급증을 표시할 수 있습니다.

경고는 사람에게 전달될 때만 유용합니다. 실제로 누군가 확인하는 이메일, Slack 또는 호출기 같은 실제 채널로 보내십시오.

거짓 경보가 너무 많으면 사람들은 경고를 무시하게 됩니다. 각 호출 알림이 실제 문제를 나타내도록 임계값을 조정하십시오. 경고 피로 때문에 장애를 놓치게 됩니다.

각 경고에 간단한 운영 절차서를 첨부하십시오. 경고가 의미하는 내용과 처음 수행할 단계를 적어 두면 대응자가 몇 분이 아니라 몇 초 안에 조치할 수 있습니다.

이제 오류율, 지연 시간, 트래픽 악용과 같은 실제 증상에 경고를 설정할 수 있습니다. 시간 구간과 운영 절차서를 조정하면 모든 호출 알림이 정말 중요한 의미를 갖습니다. ✅