자동화 효과 측정

자동화는 투자입니다. 플레이북을 구축하고 유지 관리하려면 개발 시간이 필요합니다. 그 투자를 정당화하고 개선할 부분을 파악하려면 모든 자동화된 작업 흐름의 영향을 측정해야 합니다.

측정 지표가 없으면 일주일에 몇 시간을 절약하는 플레이북과 잘못된 의사 결정을 조용히 더 빠르게 내리는 플레이북을 구분할 수 없습니다. 측정은 자동화를 믿음에 의존하는 작업에서 엔지니어링 규율로 바꿉니다.

가장 직관적인 지표는 절약된 분석가 시간입니다. 각 자동화 작업에 대해 수동 처리의 기준 시간을 추정한 다음 실행 횟수를 곱하십시오.

피싱 분류에 수동으로 30분이 걸리고 한 달에 200번 실행된다면:

SOC 성과를 보여 주는 두 가지 수명 주기 지표는 다음과 같습니다.

• MTTD(평균 탐지 시간) — 침해 발생부터 탐지까지 걸리는 시간입니다. SOAR의 영향은 상대적으로 작으며, 대부분 탐지 엔지니어링의 지표입니다.
• MTTR(평균 대응 시간) — 탐지부터 억제까지 걸리는 시간입니다. SOAR가 가장 큰 효과를 발휘하는 부분입니다.

플레이북을 배포하기 전과 후의 MTTR을 추적하십시오. 시간이 몇 시간에서 몇 분으로 줄어드는 것이 자동화가 효과를 내고 있다는 가장 분명한 증거입니다.

자동화율은 수동 작업이 필요한 이벤트와 비교하여 플레이북이 전체 또는 일부를 처리한 이벤트의 비율입니다.

다음과 같이 세분화하십시오.

• 완전 자동화 — 사람의 개입 없이 종료된 경우
• 사람 지원 — 플레이북이 보강을 수행하고 사람이 판단한 경우
• 완전 수동 — 적용된 플레이북이 없는 경우

완전 자동화율과 사람 지원율이 높아지면 적용 범위가 확대되고 있다는 뜻입니다. 비율이 정체되면 확장이 필요한 플레이북이 있다는 신호입니다.

의사 결정이 잘못되었다면 속도는 아무 의미가 없습니다. 효율성 지표를 품질 지표와 함께 사용하십시오.

• 자동 종료의 오탐률(플레이북이 실제 위협을 종료해 버렸는가?)
• 재개방률 — 플레이북이 종료했지만 분석가가 다시 연 사례의 비율
• 재정의율 — 분석가가 플레이북의 권장 작업을 거부하는 빈도

재정의율이 높은 빠른 플레이북은 시간을 절약하는 것이 아니라 불신을 만들고 있습니다.

일부 수치는 인상적으로 보이지만 잘못된 판단을 유도합니다. 플레이북 실행 횟수는 사소하거나 중복된 이벤트를 처리한 실행까지 포함한다면 허영 지표에 불과합니다.

한 플레이북이 한 달에 10,000번 실행되면 생산적으로 보일 수 있습니다. 하지만 그중 9,000건이 원래 억제했어야 할 중복 경보라면, 실제 문제는 자동화의 가치가 아니라 상위 단계의 잡음입니다. 활동 횟수를 항상 결과와 절약된 시간에 연결하여 해석하십시오.

기록한 것만 측정할 수 있습니다. 모든 플레이북에 관측 데이터를 내장하십시오. 시작과 종료 시점에 의사 결정, 소요 시간, 원본 이벤트가 포함된 구조화된 기록을 내보내십시오.

영향은 비교를 통해 파악하므로 이전 수치가 필요합니다. 자동화를 도입하기 전에 현재 MTTR, 수동 처리 시간, 경보 유형별 분석가 투입 시간을 수집하십시오.

기준선을 건너뛴 팀은 가치를 증명할 수 없습니다. 비교할 대상이 없는 자동화 후 수치만 남기 때문입니다. 비공식적인 방식이라도 기준선을 기록한 다음 각 플레이북을 운영 환경에서 활성화한 후 다시 측정하십시오.

경영진은 절차서 내부 구조가 아니라 위험과 비용에 관심을 둡니다. 측정 지표를 경영진의 언어로 바꾸어 표현하십시오:

• 절약한 시간을 회수된 정규직 환산 인력(FTE) 여력으로 표현합니다.
• MTTR 감소를 공격자의 체류 시간과 침해 위험이 줄었다는 관점에서 설명합니다.
• 일관성과 감사 범위를 규정 준수 준비도라는 관점에서 설명합니다.

자동화를 시간, 위험, 비용과 연결하는 단일 현황판을 사용하면 프로그램에 지속적으로 예산을 배정할 수 있습니다.

측정 지표는 피드백 순환에 반영됩니다. 일정한 주기로 지표를 검토하여 무엇을 구축하고, 수정하고, 폐기할지 결정하십시오.

• 재정의율이 높음 -> 판단 논리가 잘못되었으므로 개선하십시오.
• 잡음이 많은 경보에서 자동화율이 낮음 -> 새로운 절차서를 만들 후보입니다.
• 거의 실행되지 않는 절차서 -> 유지 관리 부담을 줄이기 위해 폐기를 고려하십시오.

자동화는 결코 끝나지 않습니다. 측정 결과가 다음에 어디에 투자할지 알려 줍니다.

절약한 시간 수치는 이야기의 절반에 불과합니다. 모든 절차서에는 지속적인 유지 관리 비용이 따릅니다. 통합이 중단되고, API가 변경되며, 판단 논리를 조정해야 합니다.

가치를 정확하게 측정하려면 순가치를 확인해야 합니다:

의미 있는 지표와 오해를 부르는 지표를 구분하십시오.

자동화 영향 측정:

• 투자를 정당화하고 개선할 부분을 찾기 위해 측정하십시오. 절차서를 배포하기 전에 기준선을 수집하십시오.
• 실행당 절약한 시간, MTTR 감소, 자동화율(완전 자동화, 사람 지원, 수동)을 추적하십시오.
• 속도와 품질을 함께 확인하십시오. 거짓 양성 종료, 재개방률, 재정의율을 측정하십시오.
• 단순 실행 횟수와 같은 허영 지표를 피하고, 항상 활동을 결과와 연결하십시오.
• 절차서에 원격 측정 데이터를 수집하도록 구성하고, 경영진의 관점(FTE 절감, 체류 시간 위험)으로 영향을 보고하며, 지속적 개선 순환을 운영하십시오.