Impact van automatisering meten

Twee meetwaarden voor de levenscyclus geven de prestaties van een SOC weer:

• MTTD (gemiddelde tijd tot detectie) — van compromittering tot detectie. SOAR heeft hier minder invloed op; dit is vooral een meetwaarde voor detectietechniek.
• MTTR (gemiddelde tijd tot respons) — van detectie tot indamming. Hier blinkt SOAR in uit.

Houd MTTR bij vóór en na de invoering van een draaiboek. Een daling van uren naar minuten is het duidelijkste bewijs dat automatisering werkt.

De automatiseringsgraad is het aandeel gebeurtenissen dat volledig of gedeeltelijk door draaiboeken wordt afgehandeld, tegenover gebeurtenissen waarvoor handmatig werk nodig is.

Splits dit uit:

• Volledig geautomatiseerd — gesloten zonder menselijke tussenkomst.
• Met menselijke ondersteuning — het draaiboek voerde de verrijking uit en een mens nam de beslissing.
• Volledig handmatig — er werd geen draaiboek toegepast.

Een stijgend aandeel volledig geautomatiseerde gebeurtenissen en gebeurtenissen met menselijke ondersteuning laat zien dat de dekking groeit; een stagnerend percentage wijst op draaiboeken die uitbreiding nodig hebben.

Snelheid heeft geen betekenis als beslissingen verkeerd zijn. Combineer efficiëntiemetingen met kwaliteitsmetingen:

• Percentage fout-positieven bij automatisch gesloten dossiers (heeft het draaiboek een echte dreiging als afgehandeld gemarkeerd?).
• Heropeningspercentage — dossiers die het draaiboek sloot en die een analist opnieuw moest openen.
• Afwijkingspercentage — hoe vaak analisten de aanbevolen actie van het draaiboek afwijzen.

Een snel draaiboek met een hoog afwijkingspercentage bespaart geen tijd; het wekt wantrouwen.

Sommige getallen lijken indrukwekkend, maar misleiden. Het aantal uitvoeringen van draaiboeken is een schijnmaatstaf als die uitvoeringen onbeduidende of dubbele gebeurtenissen afhandelen.

Een draaiboek dat 10.000 keer per maand wordt uitgevoerd, klinkt productief, maar als 9.000 daarvan dubbele waarschuwingen zijn die het had moeten onderdrukken, gaat het in werkelijkheid om ruis in een eerder deel van de keten en niet om de waarde van automatisering. Koppel aantallen altijd aan resultaten en bespaarde tijd.

Je kunt alleen meten wat je vastlegt. Bouw telemetrie in elk draaiboek in: stuur aan het begin en einde een gestructureerde registratie met de beslissing, duur en brongebeurtenis uit.

Impact is een vergelijking, dus je hebt een getal van vóór de automatisering nodig. Leg de huidige MTTR, handmatige verwerkingstijd en het aantal uren van analisten per type waarschuwing vast voordat je automatisering uitrolt.

Teams die de referentiewaarde overslaan, kunnen de waarde nooit aantonen; ze hebben alleen een waarde na automatisering waarmee niets te vergelijken valt. Leg de referentiewaarde desnoods informeel vast en meet opnieuw nadat elk draaiboek live is gegaan.

Leidinggevenden letten op risico's en kosten, niet op de interne details van draaiboeken. Vertaal je meetgegevens naar hun taal:

• Bespaarde uren uitgedrukt als teruggewonnen capaciteit in voltijdequivalenten (FTE).
• MTTR-reductie gepresenteerd als een kortere verblijftijd van aanvallers en een lager risico op een beveiligingsinbreuk.
• Consistentie en dekking van controles gepresenteerd als gereedheid voor naleving.

Eén dashboard dat automatisering aan tijd, risico en kosten koppelt, zorgt dat er budget voor het programma blijft.

Meetgegevens voeden een feedbacklus. Evalueer ze volgens een vast ritme om te bepalen wat je moet bouwen, herstellen of buiten gebruik stellen.

• Hoog percentage handmatige overschrijvingen -> de beslislogica klopt niet; verfijn die.
• Lage automatiseringsgraad bij een alarm met veel ruis -> een kandidaat voor een nieuw draaiboek.
• Een draaiboek dat zelden wordt uitgevoerd -> overweeg het buiten gebruik te stellen om het onderhoud te beperken.

Automatisering is nooit af; metingen laten zien waar je vervolgens in moet investeren.

Cijfers over bespaarde tijd vertellen maar de helft van het verhaal. Elk draaiboek brengt doorlopende onderhoudskosten met zich mee: integraties raken defect, API's veranderen en de beslislogica moet worden bijgesteld.

De eerlijke waardemeting is de nettowaarde:

De impact van automatisering meten:

• Meet om investeringen te rechtvaardigen en te bepalen wat beter kan; leg een nulmeting vast voordat je draaiboeken uitrolt.
• Houd de bespaarde tijd per uitvoering, de MTTR-reductie en de automatiseringsgraad bij (volledig geautomatiseerd versus met menselijke hulp versus handmatig).
• Combineer snelheid met kwaliteit: sluitingen van valse positieven, het percentage heropeningen en het percentage handmatige overschrijvingen.
• Vermijd ijdelheidsmetingen zoals ruwe uitvoeringsaantallen; koppel activiteit altijd aan resultaten.
• Voorzie draaiboeken van telemetrie, rapporteer de impact in termen van de directie (bespaarde FTE's, risico door verblijftijd) en doorloop een cyclus voor continue verbetering.