Mengukur Dampak Otomatisasi

Otomatisasi adalah investasi. Membangun dan memelihara buku pedoman memerlukan waktu rekayasa. Untuk membenarkan biaya tersebut dan mengetahui hal yang perlu diperbaiki, Anda harus mengukur dampak setiap alur kerja otomatis.

Tanpa metrik, Anda tidak dapat membedakan buku pedoman yang menghemat waktu berjam-jam setiap minggu dari buku pedoman yang diam-diam membuat keputusan buruk dengan lebih cepat. Pengukuran mengubah otomatisasi dari kegiatan berdasarkan keyakinan menjadi disiplin rekayasa.

Metrik yang paling mudah dipahami adalah waktu analis yang dihemat. Untuk setiap tugas otomatis, perkirakan waktu dasar manual, lalu kalikan dengan jumlah pelaksanaan.

Jika triase pengelabuan memerlukan 30 menit secara manual dan dilakukan 200 kali sebulan:

Dua metrik siklus hidup menggambarkan kinerja SOC:

• MTTD (Waktu Rata-rata hingga Deteksi) — dari saat sistem disusupi hingga terdeteksi. SOAR tidak terlalu memengaruhi hal ini; metrik ini terutama berkaitan dengan rekayasa deteksi.
• MTTR (Waktu Rata-rata hingga Respons) — dari deteksi hingga penahanan. Di sinilah SOAR paling unggul.

Lacak MTTR sebelum dan sesudah menerapkan buku pedoman. Penurunan dari hitungan jam menjadi hitungan menit merupakan bukti paling jelas bahwa otomatisasi berhasil.

Tingkat otomatisasi adalah proporsi kejadian yang ditangani sepenuhnya atau sebagian oleh buku pedoman dibandingkan dengan kejadian yang memerlukan pekerjaan manual.

Uraikan menjadi:

• Sepenuhnya otomatis — ditutup tanpa disentuh manusia.
• Dibantu manusia — buku pedoman melakukan pengayaan, manusia mengambil keputusan.
• Sepenuhnya manual — tidak ada buku pedoman yang diterapkan.

Meningkatnya tingkat otomatisasi penuh dan bantuan manusia menunjukkan bahwa cakupan terus bertambah; tingkat yang stagnan menandai buku pedoman yang perlu diperluas.

Kecepatan tidak berarti jika keputusan yang diambil salah. Padukan metrik efisiensi dengan metrik kualitas:

• Tingkat positif palsu pada penutupan otomatis (apakah buku pedoman menutup ancaman nyata?).
• Tingkat buka ulang — kasus yang ditutup buku pedoman tetapi harus dibuka ulang oleh analis.
• Tingkat pengesampingan — seberapa sering analis menolak tindakan yang disarankan buku pedoman.

Buku pedoman yang cepat tetapi memiliki tingkat pengesampingan tinggi tidak menghemat waktu; buku pedoman itu justru menimbulkan ketidakpercayaan.

Beberapa angka terlihat mengesankan tetapi menyesatkan. Jumlah pelaksanaan buku pedoman adalah metrik semu jika pelaksanaan tersebut menangani kejadian sepele atau duplikat.

Buku pedoman yang dijalankan 10.000 kali sebulan terdengar produktif, tetapi jika 9.000 di antaranya adalah peringatan duplikat yang seharusnya disaring, masalah sebenarnya adalah gangguan di hulu, bukan nilai otomatisasi. Selalu kaitkan jumlah aktivitas dengan hasil dan waktu yang dihemat.

Anda hanya dapat mengukur hal yang Anda catat. Bangun telemetri ke dalam setiap buku pedoman: keluarkan catatan terstruktur saat mulai dan selesai yang memuat keputusan, durasi, dan kejadian sumber.

Dampak adalah perbandingan, jadi Anda memerlukan angka sebelum penerapan. Catat MTTR saat ini, waktu penanganan manual, dan jam kerja analis untuk setiap jenis peringatan sebelum menerapkan otomatisasi.

Tim yang melewatkan tolok ukur awal tidak akan pernah dapat membuktikan nilai; mereka hanya memiliki angka setelah otomatisasi tanpa pembanding. Catat tolok ukur awal, meskipun secara informal, lalu ukur kembali setelah setiap buku pedoman diterapkan.

Para eksekutif memperhatikan risiko dan biaya, bukan detail internal buku pedoman. Sampaikan metrik Anda dalam istilah yang mereka pahami:

• Jam yang dihemat dinyatakan sebagai kapasitas ekuivalen pekerja penuh waktu (FTE) yang berhasil dipulihkan.
• Pengurangan MTTR dibingkai sebagai berkurangnya waktu penyerang bertahan di lingkungan dan risiko pembobolan.
• Konsistensi dan cakupan audit dibingkai sebagai kesiapan kepatuhan.

Satu dasbor yang mengaitkan otomatisasi dengan waktu, risiko, dan biaya membantu memastikan program terus mendapat pendanaan.

Metrik menggerakkan siklus umpan balik. Tinjau metrik tersebut secara berkala untuk menentukan apa yang perlu dibangun, diperbaiki, atau dihentikan.

• Tingkat pengesampingan yang tinggi -> logika keputusan salah; sempurnakan logika tersebut.
• Tingkat otomatisasi yang rendah pada peringatan yang terlalu sering muncul -> kandidat untuk buku pedoman baru.
• Buku pedoman yang jarang terpicu -> pertimbangkan untuk menghentikannya guna mengurangi pemeliharaan.

Otomatisasi tidak pernah benar-benar selesai; pengukuran menunjukkan tempat untuk berinvestasi berikutnya.

Angka penghematan waktu hanya menceritakan separuhnya. Setiap buku pedoman menimbulkan biaya pemeliharaan berkelanjutan: integrasi dapat rusak, antarmuka pemrograman aplikasi berubah, dan logika keputusan perlu disetel.

Pengukuran nilai yang sebenarnya adalah nilai bersih:

Bedakan metrik yang bermakna dari metrik yang menyesatkan.

Mengukur dampak otomatisasi:

• Ukur untuk membenarkan investasi dan menemukan hal yang perlu diperbaiki; catat kondisi awal sebelum menerapkan buku pedoman.
• Lacak waktu yang dihemat setiap kali dijalankan, pengurangan MTTR, dan tingkat otomatisasi (sepenuhnya otomatis, dibantu manusia, atau manual).
• Padukan kecepatan dengan kualitas: penutupan kasus positif palsu, tingkat pembukaan kembali, dan tingkat pengesampingan.
• Hindari metrik kesia-siaan seperti jumlah eksekusi mentah; selalu kaitkan aktivitas dengan hasil.
• Lengkapi buku pedoman dengan telemetri, laporkan dampak dalam istilah pimpinan (FTE yang dihemat, risiko waktu keberadaan penyerang), dan jalankan siklus perbaikan berkelanjutan.