Combler les lacunes de détection et suivre les métriques

Le travail en équipe violette génère de nombreuses données, mais sans métriques, celles-ci ne sont que des anecdotes. Les métriques transforment les exercices en un bilan d'amélioration étayé pour la direction et les responsables du budget.

• Elles montrent si les défenses s'améliorent réellement
• Elles permettent de déterminer où investir les ressources d'ingénierie limitées
• Elles rendent la « posture de sécurité » concrète et mesurable

L'objectif n'est pas d'obtenir un score élevé pour lui-même, mais de parvenir à une amélioration mesurable et durable face aux menaces pertinentes.

L'indicateur principal est la couverture de la détection : la proportion des techniques testées qui ont généré une alerte.

Calculez-la pour chaque tactique et globalement :

Les pourcentages de couverture peuvent être trompeurs. Ne compter que les techniques que vous avez choisi de tester gonfle le chiffre, et considérer une règle fragile comme « couverte » surestime l'efficacité réelle de la défense.

• La couverture doit être mesurée sur un ensemble de techniques pertinentes pour la menace, et non sur un ensemble choisi arbitrairement
• Un résultat « détecté » doit provenir d'une règle robuste fondée sur le comportement
• Les résultats uniquement journalisés ne constituent pas une couverture ; ils représentent une couverture potentielle

Associez toujours le pourcentage à son dénominateur : « 80 % des techniques de FIN7 » signifie bien plus qu'un simple « 80 % ».

La rapidité compte autant que la visibilité. Deux métriques temporelles mesurent la réactivité des défenses :

• MTTD — Temps moyen de détection : de l'horodatage de l'action à celui de l'alerte
• MTTR — Temps moyen de réponse : de l'alerte à l'action de confinement

Comme le travail en équipe violette consigne le moment exact d'exécution de chaque technique, vous pouvez mesurer ces valeurs avec précision au lieu de les estimer à partir de données d'incident désordonnées.

Toutes les lacunes ne sont pas aussi urgentes. Classez-les selon le risque, en combinant la probabilité d'utilisation de la technique et la gravité de ses conséquences.

• Probabilité élevée + impact élevé (par ex. extraction de LSASS) = à corriger en premier
• Probabilité faible + impact faible = liste des tâches en attente
• Tenez compte de la présence de la technique dans vos renseignements sur les menaces

Un score simple obtenu en multipliant la probabilité par l'impact fournit une liste de corrections ordonnée, qui concentre les efforts là où ils réduisent le plus le risque réel.

Avant de rédiger une règle, déterminez pourquoi la lacune existe. La correction diffère selon sa cause racine :

• Aucune télémétrie — activez la source de données manquante (par ex. configuration Sysmon, journalisation des blocs de script)
• Télémétrie, mais aucune règle — rédigez une détection
• La règle existe, mais ne s'est pas déclenchée — corrigez la logique ou le filtre qui l'a neutralisée
• L'alerte s'est déclenchée, mais a été ignorée — il s'agit d'un problème de processus ou de qualification, et non d'une lacune de contenu

Corriger un bogue logique est inutile si le journal sous-jacent n'a jamais été recueilli.

La lacune la plus fondamentale est l'absence de données. Par exemple, la journalisation des blocs de script PowerShell est activée via une stratégie de groupe ou le registre afin de rendre l'ID d'événement 4104 disponible.

Une fois la télémétrie en place, rédigez la détection et ajustez-la pour obtenir un signal pertinent. Les règles non ajustées submergent les analystes de faux positifs et finissent par être ignorées.

• Commencez par une règle large pour confirmer que l'artefact apparaît
• Ajoutez des exclusions pour l'activité connue comme légitime dans la référence
• Mesurez le taux de faux positifs par rapport au trafic normal
• Réexécutez l'émulation pour confirmer qu'elle détecte toujours l'attaque

Une détection n'est « terminée » que lorsqu'elle se déclenche de manière fiable lors de l'attaque et reste silencieuse pendant l'activité légitime.

Les chiffres d'un seul exercice ne sont qu'un instantané ; les tendances racontent la véritable histoire. Suivez la couverture et la MTTD au fil des trimestres.

• T1 : couverture de 45 %, MTTD de 22 min
• T2 : couverture de 62 %, MTTD de 14 min
• T3 : couverture de 71 %, MTTD de 9 min

Une tendance à l'amélioration montre que le travail en équipe violette porte ses fruits. Une tendance stable ou à la baisse signale une dégradation de la détection ou l'absence de mise en œuvre des corrections.

Les détections cessent silencieusement de fonctionner lorsque les environnements évoluent. Traitez-les comme du code et vérifiez l'absence de régressions.

• Réexécutez à chaque cycle les techniques qui ont déjà réussi
• Automatisez la validation continue afin que les détections défaillantes déclenchent une alerte
• Gérez le contenu des détections avec un contrôle de version et examinez les modifications

Une détection qui a cessé de se déclencher sans que personne ne le remarque est probablement pire que son absence initiale, car l'équipe croit être protégée alors qu'elle ne l'est pas.

Adaptez les rapports à leur public. Les ingénieurs ont besoin de détails au niveau des techniques ; la direction a besoin de résultats et d'informations sur les risques.

• Pour les ingénieurs : résultats par technique, règles créées, notes de réglage
• Pour la direction : tendance de la couverture, tendance de la MTTD, principaux risques traités et risques restants
• Visuel : une carte thermique de l'outil ATT&CK Navigator montrant les progrès au fil du temps

Présenter les résultats sous l'angle de la réduction des risques, plutôt que comme de simples données techniques, permet de maintenir le soutien et le financement du programme.

Vous pouvez maintenant mesurer et améliorer rigoureusement la couverture de la détection :

• Utilisez la couverture, la MTTD et la MTTR comme métriques principales, toujours avec leur dénominateur
• Évitez les illusions de couverture dues à des détections choisies arbitrairement ou fragiles
• Analysez la cause racine de chaque lacune avant de la corriger : télémétrie, règle, logique ou qualification
• Activez les données manquantes, puis ajustez les règles pour réduire les faux positifs
• Suivez les tendances et prémunissez-vous contre la régression silencieuse de la détection
• Présentez les résultats comme une réduction des risques, avec des cartes thermiques ATT&CK, afin de maintenir le programme

Vous avez terminé le cours sur le travail en équipe violette : il établit un lien entre les équipes rouges et bleues dans une boucle continue et mesurable qui rend les défenses objectivement meilleures.