탐지 공백 해소 및 메트릭

퍼플 팀 활동은 풍부한 데이터를 만들어 내지만, 지표가 없으면 단순한 일화에 불과합니다. 지표는 훈련을 경영진과 예산 책임자에게 제시할 수 있는 설득력 있는 개선 과정으로 바꿉니다.

• 방어 체계가 실제로 개선되고 있는지 보여 줍니다.
• 제한된 엔지니어링 역량을 어디에 투자할지 우선순위를 정하게 합니다.
• 추상적인 '보안 태세'를 구체적으로 만들고 추적할 수 있게 합니다.

목표는 그 자체로 높은 점수를 얻는 것이 아니라 관련 위협에 대응하여 측정 가능하고 지속적인 개선을 이루는 것입니다.

가장 대표적인 지표는 탐지 범위입니다. 이는 검사한 기법 중 경보를 발생시킨 기법의 비율입니다.

전술별로 그리고 전체에 대해 계산하십시오.

탐지 범위의 백분율은 오해를 불러일으킬 수 있습니다. 선택한 기법만 검사하여 세면 수치가 부풀려지고, 견고하지 않은 규칙을 '탐지됨'으로 세면 실제 방어 수준이 과장됩니다.

• 탐지 범위는 임의로 골라낸 기법 집합이 아니라 위협과 관련된 기법 집합을 기준으로 측정해야 합니다.
• '탐지됨'이라는 결과는 견고한 동작 기반 규칙에서 나와야 합니다.
• 기록만 된 결과는 탐지 범위가 아닙니다. 이는 잠재적인 탐지 범위입니다.

항상 백분율과 분모를 함께 제시하십시오. 'FIN7 기법의 80%'는 단순한 '80%'보다 훨씬 많은 정보를 전달합니다.

가시성만큼 대응 속도도 중요합니다. 두 가지 시간 지표로 방어 체계의 대응성을 측정할 수 있습니다.

• MTTD — 평균 탐지 시간: 작업 발생 시각부터 경보 발생 시각까지
• MTTR — 평균 대응 시간: 경보 발생부터 격리 조치까지

퍼플 팀 활동에서는 각 기법이 실행된 정확한 시각을 기록하므로, 불완전한 사고 데이터로 추정하는 대신 이 값을 정밀하게 측정할 수 있습니다.

모든 격차를 똑같이 긴급하게 처리할 필요는 없습니다. 기법이 발생할 가능성과 그로 인한 피해 규모를 함께 고려하여 위험에 따라 격차의 순위를 정하십시오.

• 발생 가능성 높음 + 영향도 높음(예: LSASS 메모리 추출) = 먼저 해결
• 발생 가능성 낮음 + 영향도 낮음 = 백로그로 이동
• 해당 기법이 위협 정보에 나타나는지에 따라 가중치를 부여

발생 가능성에 영향도를 곱해 간단히 점수화하면 실제 위험을 가장 많이 줄일 수 있는 영역에 노력을 집중하는 순서가 정해진 해결 목록을 만들 수 있습니다.

규칙을 작성하기 전에 격차가 존재하는 이유를 진단하십시오. 근본 원인에 따라 해결 방법이 달라집니다.

• 원격 측정 데이터 없음 — 누락된 데이터 출처를 활성화합니다(예: Sysmon 구성, 스크립트 블록 로그 기록).
• 원격 측정 데이터는 있지만 규칙 없음 — 탐지 규칙을 작성합니다.
• 규칙은 있지만 작동하지 않음 — 규칙의 논리 또는 작동을 억제한 필터링 조건을 수정합니다.
• 경보는 발생했지만 무시됨 — 내용의 격차가 아니라 프로세스 또는 분류 문제입니다.

기반이 되는 로그를 수집하지 않았다면 논리 오류를 수정하는 것은 헛수고입니다.

가장 근본적인 격차는 데이터 누락입니다. 예를 들어 PowerShell 스크립트 블록 로그 기록은 그룹 정책 또는 레지스트리를 통해 활성화하여 이벤트 ID 4104를 사용할 수 있게 합니다.

원격 측정 데이터를 확보했다면 탐지 규칙을 작성하고 유의미한 신호가 나오도록 조정하십시오. 조정되지 않은 규칙은 오탐으로 분석가를 압도하고 무시됩니다.

• 흔적이 나타나는지 확인할 수 있도록 넓은 범위에서 시작합니다.
• 알려진 정상 기준선 활동에 대한 제외 조건을 추가합니다.
• 정상적인 네트워크 활동을 기준으로 오탐률을 측정합니다.
• 공격을 여전히 포착하는지 확인하기 위해 모의 공격을 다시 실행합니다.

공격이 발생했을 때 안정적으로 작동하고 정상 활동에서는 조용히 유지될 때에만 탐지를 '완료'된 것으로 간주합니다.

한 번의 훈련에서 얻은 수치는 스냅샷일 뿐이며, 실제 상황을 보여 주는 것은 추세입니다. 분기별로 탐지 범위와 MTTD를 추적하십시오.

• 1분기: 탐지 범위 45%, MTTD 22분
• 2분기: 탐지 범위 62%, MTTD 14분
• 3분기: 탐지 범위 71%, MTTD 9분

개선되는 추세는 퍼플 팀 활동이 성과를 내고 있음을 보여 줍니다. 추세가 정체되거나 하락한다면 탐지 성능 저하가 발생했거나 수정 사항이 적용되지 않았다는 신호입니다.

환경이 변하면 탐지 규칙이 조용히 고장 납니다. 탐지 규칙을 코드처럼 취급하고 회귀를 검사하십시오.

• 각 주기에 이전에 통과한 기법을 다시 실행합니다.
• 지속적인 검증을 자동화하여 고장 난 탐지 규칙이 경보를 발생시키게 합니다.
• 탐지 내용을 버전 관리하고 변경 사항을 검토합니다.

조용히 작동을 멈춘 탐지 규칙은 팀이 실제로는 보호받지 못하는데도 보호받고 있다고 믿게 만들기 때문에, 처음부터 탐지 규칙이 없었던 경우보다 오히려 더 심각할 수 있습니다.

보고 내용은 대상에 맞게 조정하십시오. 엔지니어에게는 기법 수준의 세부 사항이 필요하고, 경영진에게는 결과와 위험이 필요합니다.

• 엔지니어 대상: 기법별 결과, 작성한 규칙, 조정 기록
• 경영진 대상: 탐지 범위 추세, MTTD 추세, 해결된 주요 위험과 남은 위험
• 시각 자료: 시간에 따른 진행 상황을 보여 주는 ATT&CK 내비게이터 열지도

결과를 원시 기술 데이터가 아니라 위험 감소의 관점에서 설명해야 프로그램에 대한 지원과 자금이 지속됩니다.

이제 탐지 범위를 엄격하게 측정하고 개선할 수 있습니다.

• 탐지 범위, MTTD 및 MTTR을 핵심 지표로 사용하고 항상 분모를 함께 제시합니다.
• 임의로 고른 탐지나 견고하지 않은 탐지에서 비롯되는 탐지 범위의 착시를 피합니다.
• 수정하기 전에 각 격차의 근본 원인을 찾습니다. 원격 측정 데이터, 규칙, 논리 또는 분류 중 무엇이 문제인지 확인합니다.
• 누락된 데이터를 활성화한 다음 오탐이 적도록 규칙을 조정합니다.
• 추세를 추적하고 조용히 발생하는 탐지 회귀를 방지합니다.
• 프로그램을 지속하기 위해 ATT&CK 열지도와 함께 위험 감소의 관점에서 보고합니다.

레드 팀과 블루 팀을 지속적이고 측정 가능한 순환 과정으로 연결하여 방어 체계를 입증 가능하게 개선하는 퍼플 팀 활동 과정을 완료했습니다.