Metryki SOC: MTTD i MTTR

SOC bez metryk działa po omacku. Metryki pokazują, czy zespół szybciej wykrywa zagrożenia, sprawniej reaguje i z czasem się doskonali.

Dwie najważniejsze metryki to MTTD (Mean Time To Detect — średni czas wykrycia) i MTTR (Mean Time To Respond/Resolve — średni czas reakcji lub rozwiązania). Określają one ilościowo odpowiedzi na dwa najważniejsze pytania: jak szybko dostrzegamy zagrożenia i jak szybko je powstrzymujemy?

MTTD mierzy średni czas od momentu, gdy atak się rozpoczyna, do momentu, gdy SOC go wykrywa.

Niskie MTTD oznacza, że napastnicy mają mniej czasu przebywania w środowisku. Każda godzina niewykrytego dostępu pozwala napastnikowi poruszać się w środowisku, eskalować uprawnienia i przygotowywać dane do eksfiltracji.

Skrócenie MTTD zwykle wymaga szerszego pokrycia detekcji, dostrojonych reguł i bogatszej telemetrii.

MTTR mierzy średni czas od wykrycia do rozwiązania. Pokazuje, jak szybko SOC powstrzymuje potwierdzone zagrożenie i usuwa jego skutki.

MTTR bywa dodatkowo dzielony na:

• Czas do potwierdzenia — od wykrycia do podjęcia sprawy przez analityka
• Czas do powstrzymania — czas potrzebny do zatrzymania rozprzestrzeniania się zagrożenia
• Czas do odzyskania sprawności — czas do pełnego przywrócenia normalnego działania

Zawsze należy sprawdzić, której definicji używa zespół, ponieważ „respond” i „resolve” nie oznaczają tego samego.

Obie metryki są zwykłymi średnimi obliczanymi dla określonego zbioru incydentów w danym przedziale czasu.

Wizualizacja osi czasu pokazuje, co mierzy każda z metryk:

Czas przebywania to okres, w którym napastnik działa niewykryty. Jest on praktyczną konsekwencją MTTD.

Raporty branżowe historycznie wskazywały medianę czasu przebywania mierzoną w tygodniach lub miesiącach, choć wykrywanie uległo poprawie. Im dłuższy czas przebywania, tym większe szkody:

• Więcej przejętych systemów
• Więcej uzyskanych danych
• Trudniejsze i droższe usuwanie skutków

Skracanie czasu przebywania jest jednym z najwyraźniejszych oznak dojrzewania SOC.

MTTD i MTTR to najważniejsze liczby, ale do pełnego obrazu potrzebują metryk uzupełniających:

• Liczba alertów — łączna liczba alertów dziennie
• Odsetek fałszywych alarmów — udział alertów, które nie są prawdziwymi zagrożeniami
• Odsetek eskalacji — alerty przekazane poza poziom Tier 1
• Zgodność z SLA — odsetek alertów obsłużonych w docelowym czasie
• Obciążenie analityków — liczba alertów na analityka na zmianę

Razem metryki te pokazują, czy SOC działa skutecznie i w sposób możliwy do utrzymania.

Wysoki odsetek fałszywych alarmów po cichu niszczy skuteczność SOC. Analitycy tracą czas, męczą się i mogą zacząć ignorować głośne alerty — jest to niebezpieczny stan nazywany zmęczeniem alertami.

Jeśli 95% alertów generowanych przez regułę to fałszywe alarmy, reguła ta wymaga dostrojenia, a nie dodatkowych godzin pracy analityków. Śledzenie odsetka fałszywych alarmów dla każdej reguły dokładnie pokazuje, na czym należy skupić wysiłki związane z dostrajaniem.

Metryki wpływają na zachowanie, czasem w niewłaściwy sposób. Jeśli nagradza się wyłącznie niskie MTTR, analitycy mogą przedwcześnie zamykać zgłoszenia, aby osiągnąć wymagany wynik.

Należy zwracać uwagę na oznaki manipulowania metrykami:

• Zamykanie spraw przed ich faktycznym rozwiązaniem
• Przeklasyfikowywanie prawdziwych incydentów jako fałszywych alarmów
• Wyciszanie detekcji generujących dużo szumu zamiast ich naprawiania

Metryki szybkości należy uzupełniać miarami jakości, takimi jak odsetek ponownie otwieranych zgłoszeń, aby szybkość nie oznaczała niedbałości.

Metryki są tylko tak dobre, jak znaczniki czasu, na których się opierają. Jeśli analitycy zapominają aktualizować status zgłoszenia, MTTD i MTTR tracą znaczenie.

Wiarygodne metryki wymagają:

• Dokładnych znaczników czasu wykrycia i rozwiązania
• Spójnej klasyfikacji ważności
• Rzetelnej klasyfikacji końcowej (trafne wykrycie lub fałszywy alarm)

Dlatego zdyscyplinowana obsługa zgłoszeń z poprzedniej lekcji bezpośrednio umożliwia tworzenie wiarygodnych metryk w tej lekcji.

Metryki są wartościowe tylko wtedy, gdy prowadzą do działania. Należy regularnie je przeglądać i zastanawiać się, co pokazują:

• MTTD rośnie? Pokrycie detekcji może zawierać luki.
• MTTR rośnie? Proces reagowania lub obsada zespołu może być wąskim gardłem.
• Rośnie odsetek fałszywych alarmów? Reguła wymaga dostrojenia.

Celem jest pętla sprzężenia zwrotnego: mierzyć, identyfikować słabe punkty, ulepszać detekcje i procesy, a następnie ponownie mierzyć.

Proszę sprawdzić swoją wiedzę o metrykach SOC.

W tej lekcji poznano sposób mierzenia skuteczności SOC:

• MTTD = czas od rozpoczęcia ataku do jego wykrycia; niższa wartość oznacza krótszy czas przebywania
• MTTR = czas od wykrycia do reakcji lub rozwiązania; należy potwierdzić, która definicja jest stosowana
• Metryki uzupełniające obejmują liczbę alertów, odsetek fałszywych alarmów, odsetek eskalacji i zgodność z SLA
• Należy zwracać uwagę na zmęczenie alertami i manipulowanie metrykami; szybkość należy łączyć z miarami jakości
• Dokładne znaczniki czasu i zdyscyplinowana obsługa zgłoszeń sprawiają, że metryki są wiarygodne i zasilają proces ciągłego doskonalenia

Na tym kończy się kurs Operations and Triage dla analityków SOC.