Måling af automatiseringens effekt

To måltal for livscyklussen beskriver SOC'ets ydeevne:

• MTTD (gennemsnitlig tid til opdagelse) — fra kompromittering til opdagelse. SOAR påvirker dette i mindre grad; det er primært et måletal for udvikling af detektion.
• MTTR (gennemsnitlig tid til reaktion) — fra opdagelse til inddæmning. Det er her, SOAR er stærkest.

Følg MTTR før og efter indførelsen af en handlingsplan. Et fald fra timer til minutter er det tydeligste bevis på, at automatiseringen virker.

Automatiseringsgrad er andelen af hændelser, der håndteres helt eller delvist af handlingsplaner, sammenlignet med hændelser, der kræver manuelt arbejde.

Opdel den i:

• Fuldt automatiseret — lukket uden at et menneske har rørt ved den.
• Med menneskelig hjælp — handlingsplanen udførte berigelsen, og et menneske traf beslutningen.
• Helt manuel — ingen handlingsplan blev anvendt.

Stigende andele af fuldt automatiserede hændelser og hændelser med menneskelig hjælp viser, at dækningen vokser; en uændret grad peger på handlingsplaner, der skal udvides.

Hastighed er meningsløs, hvis beslutningerne er forkerte. Kombinér effektivitetstal med kvalitetsmålinger:

• Andelen af falske positiver ved automatiske lukninger (lukkede handlingsplanen en reel trussel?).
• Genåbningsgrad — sager, som handlingsplanen lukkede, men som en analytiker måtte genåbne.
• Tilsidesættelsesgrad — hvor ofte analytikere afviser handlingsplanens anbefalede handling.

En hurtig handlingsplan med en høj tilsidesættelsesgrad sparer ikke tid; den skaber mistillid.

Nogle tal ser imponerende ud, men er misvisende. Antallet af kørsler af handlingsplaner er et forfængelighedsmål, hvis kørslerne håndterer trivielle eller duplikerede hændelser.

En handlingsplan, der udløses 10.000 gange om måneden, lyder produktiv, men hvis 9.000 af disse er duplikerede alarmer, som den burde have undertrykt, er den virkelige historie støj længere oppe i systemet, ikke værdien af automatiseringen. Forbind altid aktivitetsantal med resultater og sparet tid.

Du kan kun måle det, du registrerer. Indbyg telemetri i alle handlingsplaner: udsend en struktureret datapost ved start og afslutning med beslutningen, varigheden og kildehændelsen.

Effekt er en sammenligning, så du skal have et før-tal. Indsaml den aktuelle MTTR, manuelle håndteringstid og analytikertimer pr. alarmtype før du ruller automatisering ud.

Teams, der springer udgangspunktet over, kan aldrig bevise værdien; de har kun et tal efter automatiseringen uden noget at sammenligne med. Registrér udgangspunktet, selv uformelt, og mål derefter igen, når hver handlingsplan sættes i drift.

Ledelsen interesserer sig for risiko og omkostninger, ikke for detaljerne i handlingsvejledningerne. Oversæt dine målinger til deres sprog:

• Sparede timer udtrykt som frigjort kapacitet svarende til fuldtidsstillinger (FTE).
• Reduktion i MTTR koblet til kortere angriberopholdstid og lavere risiko for sikkerhedsbrud.
• Konsistens og revisionsdækning koblet til beredskab til overholdelse af krav.

Et enkelt oversigtspanel, der kobler automatisering til tid, risiko og omkostninger, sikrer finansieringen af programmet.

Målinger indgår i en feedbacksløjfe. Gennemgå dem med faste intervaller for at beslutte, hvad der skal bygges, rettes eller udfases.

• Høj tilsidesættelsesrate - beslutningslogikken er forkert; finjuster den.
• Lav automatiseringsgrad for en alarm med meget støj - kandidat til en ny handlingsvejledning.
• En handlingsvejledning, der sjældent udløses - overvej at udfase den for at reducere vedligeholdelsen.

Automatisering bliver aldrig færdig; målinger viser, hvor du bør investere næste gang.

Tal for sparet tid fortæller kun halvdelen af historien. Hver handlingsvejledning medfører løbende vedligeholdelsesomkostninger: integrationer går i stykker, API'er ændres, og beslutningslogikken skal justeres.

Den retvisende værdimåling er nettoværdien:

Måling af automatiseringens effekt:

• Mål for at begrunde investeringer og finde ud af, hvad der skal forbedres; registrer et udgangspunkt, før du tager handlingsvejledninger i brug.
• Følg den sparede tid pr. kørsel, reduktionen i MTTR og automatiseringsgraden (fuldautomatiseret kontra menneskeassisteret kontra manuel).
• Kombinér hastighed med kvalitet: lukning af sager med falske positiver, genåbningsrate og tilsidesættelsesrate.
• Undgå overfladiske målepunkter som rå antal kørsler; forbind altid aktiviteten med resultater.
• Udstyr handlingsvejledninger med telemetri, rapportér effekten i ledelsens termer (sparede FTE'er, risiko for angriberens opholdstid), og kør en løbende forbedringscyklus.