Menutup Kesenjangan Deteksi dan Metrik

Latihan tim ungu menghasilkan data yang kaya, tetapi tanpa metrik data tersebut hanyalah anekdot. Metrik mengubah latihan menjadi kisah peningkatan yang dapat dipertanggungjawabkan kepada pimpinan dan pemilik anggaran.

• Metrik menunjukkan apakah pertahanan benar-benar menjadi lebih baik
• Metrik membantu memprioritaskan tempat untuk menginvestasikan upaya rekayasa yang terbatas
• Metrik membuat "postur keamanan" yang abstrak menjadi konkret dan dapat dilacak

Tujuannya bukan mendapatkan skor tinggi demi skor itu sendiri, melainkan mencapai peningkatan yang terukur dan berkelanjutan terhadap ancaman yang relevan.

Metrik utama adalah cakupan deteksi: persentase teknik yang diuji dan menghasilkan peringatan.

Hitung metrik ini untuk setiap taktik dan secara keseluruhan:

Persentase cakupan dapat menyesatkan. Hanya menghitung teknik yang Anda pilih untuk diuji akan menggelembungkan angka, dan menghitung aturan yang rapuh sebagai "tercakup" akan melebih-lebihkan pertahanan yang sebenarnya.

• Cakupan harus diukur terhadap kumpulan teknik yang relevan dengan ancaman, bukan kumpulan yang dipilih secara selektif
• Hasil "terdeteksi" harus berasal dari aturan yang tangguh dan berbasis perilaku
• Hasil yang hanya dicatat bukan cakupan; hasil tersebut merupakan cakupan potensial

Selalu sertakan penyebut bersama persentasenya: "80% teknik FIN7" jauh lebih bermakna daripada sekadar "80%".

Kecepatan sama pentingnya dengan visibilitas. Dua metrik waktu mengukur daya tanggap pertahanan:

• MTTD — Waktu Rata-rata hingga Terdeteksi: dari cap waktu tindakan hingga cap waktu peringatan
• MTTR — Waktu Rata-rata untuk Merespons: dari peringatan hingga tindakan penahanan

Karena latihan tim ungu mencatat saat yang tepat ketika setiap teknik dijalankan, Anda dapat mengukur metrik ini secara presisi, bukan memperkirakannya dari data insiden yang tidak rapi.

Tidak semua kesenjangan memiliki tingkat urgensi yang sama. Urutkan kesenjangan berdasarkan risiko, dengan menggabungkan kemungkinan teknik tersebut terjadi dan besarnya dampak yang ditimbulkannya.

• Kemungkinan tinggi + dampak tinggi (misalnya pengambilan data LSASS) = perbaiki terlebih dahulu
• Kemungkinan rendah + dampak rendah = masukkan ke daftar pekerjaan tertunda
• Berikan bobot berdasarkan apakah teknik tersebut muncul dalam intelijen ancaman Anda

Penilaian sederhana berupa kemungkinan dikalikan dampak menghasilkan daftar perbaikan yang terurut dan memusatkan upaya pada pengurangan risiko dunia nyata terbesar.

Sebelum menulis aturan, diagnosis mengapa kesenjangan tersebut ada. Perbaikannya berbeda-beda, bergantung pada akar masalahnya:

• Tidak ada telemetri — aktifkan sumber data yang hilang (misalnya konfigurasi Sysmon, pencatatan blok skrip)
• Ada telemetri tetapi tidak ada aturan — tulis deteksi
• Aturan ada tetapi tidak terpicu — perbaiki logika atau penyaring yang menekannya
• Peringatan terpicu tetapi diabaikan — ini masalah proses/pemilahan, bukan kesenjangan konten

Memperbaiki cacat logika akan menjadi upaya yang sia-sia jika log yang mendasarinya tidak pernah dikumpulkan.

Kesenjangan paling mendasar adalah data yang hilang. Misalnya, pencatatan blok skrip PowerShell diaktifkan melalui Kebijakan Grup atau registri agar Peristiwa ID 4104 tersedia.

Setelah telemetri tersedia, tulis deteksi dan setel agar menghasilkan sinyal yang baik. Aturan yang belum disetel akan membanjiri analis dengan positif palsu dan akhirnya diabaikan.

• Mulailah secara luas untuk memastikan artefak muncul
• Tambahkan pengecualian untuk aktivitas dasar yang diketahui aman
• Ukur tingkat positif palsu terhadap lalu lintas normal
• Jalankan ulang emulasi untuk memastikan serangan masih tertangkap

Deteksi baru dapat dianggap "selesai" jika terpicu secara andal pada serangan dan tetap tidak terpicu pada aktivitas yang tidak berbahaya.

Angka dari satu latihan hanyalah gambaran sesaat; tren menunjukkan kisah yang sebenarnya. Lacak cakupan dan MTTD sepanjang kuartal.

• Kuartal 1: cakupan 45%, MTTD 22 menit
• Kuartal 2: cakupan 62%, MTTD 14 menit
• Kuartal 3: cakupan 71%, MTTD 9 menit

Tren yang membaik menunjukkan bahwa latihan tim ungu memberikan hasil. Tren yang datar atau menurun menandakan penurunan kualitas deteksi atau bahwa perbaikan tidak diterapkan.

Deteksi dapat rusak secara diam-diam ketika lingkungan berubah. Perlakukan deteksi seperti kode dan uji untuk menemukan regresi.

• Jalankan ulang teknik yang sebelumnya berhasil pada setiap siklus
• Otomatiskan validasi berkelanjutan agar deteksi yang rusak memicu peringatan
• Gunakan kontrol versi untuk konten deteksi dan tinjau perubahannya

Deteksi yang diam-diam berhenti terpicu bisa dibilang lebih buruk daripada tidak pernah memilikinya, karena tim mengira mereka terlindungi padahal tidak.

Sesuaikan pelaporan dengan audiensnya. Insinyur memerlukan detail tingkat teknik; pimpinan memerlukan hasil dan risiko.

• Untuk insinyur: hasil per teknik, aturan yang dibuat, catatan penyetelan
• Untuk pimpinan: tren cakupan, tren MTTD, risiko utama yang telah ditutup dan yang masih tersisa
• Visual: peta panas ATT&CK Navigator yang menunjukkan kemajuan dari waktu ke waktu

Membingkai hasil sebagai pengurangan risiko, bukan data teknis mentah, akan mempertahankan dukungan dan pendanaan untuk program ini.

Uji pemahaman Anda tentang penutupan kesenjangan dan metrik.

Sekarang Anda dapat mengukur dan meningkatkan cakupan deteksi secara ketat:

• Gunakan cakupan, MTTD, dan MTTR sebagai metrik inti, selalu bersama penyebutnya
• Hindari ilusi cakupan yang berasal dari deteksi yang dipilih secara selektif atau rapuh
• Temukan akar masalah setiap kesenjangan sebelum memperbaikinya: telemetri, aturan, logika, atau pemilahan
• Aktifkan data yang hilang, lalu setel aturan untuk menghasilkan sedikit positif palsu
• Lacak tren dan cegah regresi deteksi yang terjadi secara diam-diam
• Laporkan sebagai pengurangan risiko dengan peta panas ATT&CK untuk mempertahankan program

Anda telah menyelesaikan kursus Latihan Tim Ungu: menjembatani tim merah dan biru ke dalam siklus berkelanjutan dan terukur yang membuat pertahanan terbukti lebih baik.