Fechando lacunas de detecção e métricas

O trabalho de equipe roxa gera dados valiosos, mas, sem métricas, são apenas anedotas. As métricas transformam os exercícios em uma história de melhoria defensável para a liderança e os responsáveis pelo orçamento.

• Elas mostram se as defesas estão realmente melhorando
• Elas priorizam onde investir o esforço limitado de engenharia
• Elas tornam a abstrata postura de segurança concreta e acompanhável

O objetivo não é obter uma pontuação alta por si só, mas alcançar uma melhoria mensurável e sustentada contra ameaças relevantes.

A principal métrica é a cobertura de detecção: a parcela das técnicas testadas que produziram um alerta.

Calcule-a por tática e no total:

As porcentagens de cobertura podem induzir ao erro. Contar apenas as técnicas que você escolheu testar aumenta artificialmente o número, e contar uma regra frágil como coberta superestima a defesa real.

• A cobertura deve ser medida com base em um conjunto de técnicas relevante para as ameaças, não em um conjunto escolhido seletivamente
• Um resultado detectado deve vir de uma regra robusta e baseada em comportamento
• Resultados somente registrados não são cobertura; são cobertura potencial

Sempre associe a porcentagem ao denominador: 80% das técnicas do FIN7 significa muito mais do que um simples 80%.

A velocidade é tão importante quanto a visibilidade. Duas métricas de tempo capturam a capacidade de resposta defensiva:

• MTTD — Tempo médio até a detecção: do carimbo de data e hora da ação ao carimbo de data e hora do alerta
• MTTR — Tempo médio até a resposta: do alerta à ação de contenção

Como o trabalho de equipe roxa registra o momento exato em que cada técnica é executada, você pode medir esses valores com precisão, em vez de estimá-los a partir de dados desorganizados de incidentes.

Nem toda lacuna merece a mesma urgência. Classifique as lacunas por risco, combinando a probabilidade de a técnica ser usada com o dano que ela causaria.

• Alta probabilidade + alto impacto (por exemplo, despejo de LSASS) = corrija primeiro
• Baixa probabilidade + baixo impacto = lista de pendências
• Pondere se a técnica aparece em sua inteligência sobre ameaças

Uma pontuação simples, calculada pela multiplicação da probabilidade pelo impacto, fornece uma lista ordenada de correções e concentra o esforço onde ele reduz mais o risco real.

Antes de escrever uma regra, diagnostique por que a lacuna existe. A correção varia conforme a causa raiz:

• Nenhuma telemetria — habilite a fonte de dados ausente (por exemplo, a configuração do Sysmon ou o registro de blocos de script)
• Telemetria, mas nenhuma regra — escreva uma detecção
• A regra existe, mas não foi acionada — corrija a lógica ou o filtro que a suprimiu
• O alerta foi acionado, mas ignorado — um problema de processo ou triagem, não uma lacuna de conteúdo

Corrigir um erro de lógica é um esforço desperdiçado se o registro subjacente nunca foi coletado.

A lacuna mais fundamental é a ausência de dados. Por exemplo, o registro de blocos de script do PowerShell é habilitado por meio da Política de Grupo ou do registro para disponibilizar o ID do evento 4104.

Com a telemetria disponível, escreva a detecção e ajuste-a para obter sinal. Regras não ajustadas inundam os analistas com falsos positivos e são ignoradas.

• Comece de forma ampla para confirmar que o artefato aparece
• Adicione exclusões para atividades conhecidas e legítimas da linha de base
• Meça a taxa de falsos positivos em relação ao tráfego normal
• Execute novamente a emulação para confirmar que ela ainda detecta o ataque

Uma detecção só está pronta quando é acionada de forma confiável pelo ataque e permanece silenciosa em atividades benignas.

Os números de um único exercício são um retrato; as tendências contam a história real. Acompanhe a cobertura e o MTTD ao longo dos trimestres.

• T1: 45% de cobertura, MTTD de 22 min
• T2: 62% de cobertura, MTTD de 14 min
• T3: 71% de cobertura, MTTD de 9 min

Uma tendência de melhora demonstra que o trabalho de equipe roxa está gerando resultados. Uma tendência estável ou de queda sinaliza degradação da detecção ou que as correções não estão sendo implementadas.

As detecções podem parar de funcionar silenciosamente conforme os ambientes mudam. Trate-as como código e teste se há regressões.

• Execute novamente, a cada ciclo, as técnicas que funcionavam anteriormente
• Automatize a validação contínua para que detecções quebradas gerem um alerta
• Coloque o conteúdo de detecção sob controle de versão e revise as alterações

Uma detecção que parou silenciosamente de ser acionada é, possivelmente, pior do que nunca ter existido, pois a equipe acredita estar coberta quando não está.

Adapte o relatório ao público. Os engenheiros precisam de detalhes no nível da técnica; a liderança precisa de resultados e riscos.

• Para engenheiros: resultados por técnica, regras criadas e observações de ajuste
• Para a liderança: tendência da cobertura, tendência do MTTD, principais riscos eliminados e restantes
• Visual: um mapa de calor do ATT&CK Navigator mostrando o progresso ao longo do tempo

Apresentar os resultados como redução de risco, e não como dados técnicos brutos, é o que mantém o apoio e o financiamento do programa.

Teste sua compreensão sobre o fechamento de lacunas e as métricas.

Agora você pode medir e melhorar rigorosamente a cobertura de detecção:

• Use cobertura, MTTD e MTTR como métricas principais, sempre com o denominador
• Evite ilusões de cobertura causadas por detecções escolhidas seletivamente ou frágeis
• Faça a análise da causa raiz de cada lacuna antes de corrigi-la: telemetria, regra, lógica ou triagem
• Habilite os dados ausentes e depois ajuste as regras para obter poucos falsos positivos
• Acompanhe tendências e proteja-se contra a regressão silenciosa da detecção
• Relate como redução de risco, usando mapas de calor do ATT&CK para manter o programa

Você concluiu o curso de trabalho de equipe roxa: unindo as equipes vermelha e azul em um ciclo contínuo e mensurável que torna as defesas comprovadamente melhores.