Otomasyon Etkisini Ölçme

Otomasyon bir yatırımdır. Müdahale akışlarını oluşturmak ve sürdürmek mühendislik zamanı gerektirir. Bu harcamayı gerekçelendirmek ve neyi iyileştirmeniz gerektiğini bilmek için her otomatik iş akışının etkisini ölçmelisiniz.

Ölçütler olmadan haftada saatler kazandıran bir müdahale akışını, kötü kararları sessizce daha hızlı veren bir müdahale akışından ayırt edemezsiniz. Ölçüm, otomasyonu yalnızca inanca dayalı bir uygulama olmaktan çıkarıp bir mühendislik disiplinine dönüştürür.

En sezgisel ölçüt analistin kazandığı zamandır. Her otomatik görev için elle yürütülen başlangıç süresini tahmin edin, ardından bunu çalıştırma sayısıyla çarpın.

Bir kimlik avı incelemesi elle 30 dakika sürüyor ve ayda 200 kez çalıştırılıyorsa:

İki yaşam döngüsü ölçütü SOC performansını çerçeveler:

• MTTD (Ortalama Tespit Süresi) — ihlalden tespide kadar geçen süre. SOAR bunu daha az etkiler; bu süre çoğunlukla tespit mühendisliğiyle ilgilidir.
• MTTR (Ortalama Müdahale Süresi) — tespitten kontrol altına almaya kadar geçen süre. SOAR'ın en çok fark yarattığı yer burasıdır.

Bir müdahale akışını devreye almadan önce ve aldıktan sonra MTTR'yi izleyin. Sürenin saatlerden dakikalara inmesi, otomasyonun işe yaradığının en açık kanıtıdır.

Otomasyon oranı, müdahale akışları tarafından tamamen veya kısmen ele alınan olayların, elle işlenmesi gereken olaylara göre payıdır.

Bunu şu şekilde ayırın:

• Tamamen otomatik — bir insanın müdahalesi olmadan kapatıldı.
• İnsan destekli — müdahale akışı zenginleştirmeyi yaptı, kararı insan verdi.
• Tamamen elle yürütülen — hiçbir müdahale akışı uygulanmadı.

Tamamen otomatik ve insan destekli oranların artması kapsamanın büyüdüğünü gösterir; sabit kalan oran ise genişletilmesi gereken müdahale akışlarına işaret eder.

Kararlar yanlışsa hızın hiçbir anlamı yoktur. Verimlilik ölçütlerini kalite ölçütleriyle birlikte değerlendirin:

• Otomatik kapatmaların yanlış pozitif oranı (müdahale akışı gerçek bir tehdidi kapattı mı?).
• Yeniden açma oranı — müdahale akışının kapattığı, ancak analistin yeniden açmak zorunda kaldığı vakalar.
• Geçersiz kılma oranı — analistlerin müdahale akışının önerdiği eylemi ne sıklıkla reddettiği.

Geçersiz kılma oranı yüksek olan hızlı bir müdahale akışı zaman kazandırmaz; güvensizlik yaratır.

Bazı sayılar etkileyici görünür, ancak yanıltır. Müdahale akışının çalıştırılma sayısı, bu çalıştırmalar önemsiz veya yinelenen olayları ele alıyorsa bir gösteriş ölçütüdür.

Ayda 10.000 kez çalışan bir müdahale akışı üretken görünebilir; ancak bunların 9.000'i bastırması gereken yinelenen uyarılarsa, asıl sorun otomasyonun değeri değil üst akıştaki gürültüdür. Etkinlik sayılarını her zaman sonuçlara ve kazanılan zamana bağlayın.

Yalnızca kaydettiğiniz şeyleri ölçebilirsiniz. Her müdahale akışına telemetri ekleyin: başlangıçta ve bitişte karar, süre ve kaynak olay bilgilerini içeren yapılandırılmış bir kayıt oluşturun.

Etki bir karşılaştırmadır; bu nedenle bir önce ölçümüne ihtiyacınız vardır. Otomasyonu devreye almadan önce mevcut MTTR'yi, elle yürütülen işlem süresini ve her uyarı türü için analistlerin harcadığı saatleri kaydedin.

Başlangıç ölçümünü atlayan ekipler değeri hiçbir zaman kanıtlayamaz; ellerinde yalnızca karşılaştırabilecekleri hiçbir şey olmayan otomasyon sonrası bir ölçüm bulunur. Başlangıç ölçümünü gayriresmî de olsa kaydedin, ardından her müdahale akışı canlıya alındıktan sonra yeniden ölçün.

Yöneticiler iş akışlarının iç ayrıntılarıyla değil, risk ve maliyetle ilgilenir. Ölçütlerinizi onların anlayacağı şekilde ifade edin:

• Tasarruf edilen saatleri, geri kazanılan tam zamanlı eşdeğer (FTE) kapasite olarak ifade edin.
• MTTR azalmasını, saldırganın sistemde kalma süresinin ve ihlal riskinin azalması olarak sunun.
• Tutarlılığı ve denetim kapsamını, uyumluluğa hazırlık olarak ifade edin.

Otomasyonu zaman, risk ve maliyetle ilişkilendiren tek bir gösterge paneli, programın finansmanını korur.

Ölçümler bir geri bildirim döngüsünü besler. Nelerin oluşturulacağına, düzeltileceğine veya kullanımdan kaldırılacağına karar vermek için bunları düzenli aralıklarla gözden geçirin.

• Yüksek geçersiz kılma oranı -> karar mantığı yanlıştır; mantığı iyileştirin.
• Çok sayıda gereksiz uyarı üreten bir uyarıda düşük otomasyon oranı -> yeni bir iş akışı için adaydır.
• Nadiren tetiklenen bir iş akışı -> bakım yükünü azaltmak için kullanımdan kaldırmayı düşünün.

Otomasyon hiçbir zaman tamamlanmaz; ölçüm, bir sonraki yatırımın nereye yapılacağını gösterir.

Zamandan sağlanan tasarruf rakamları hikâyenin yalnızca yarısını anlatır. Her iş akışının sürekli bir bakım maliyeti vardır: bütünleştirmeler bozulur, uygulama programlama arayüzleri değişir ve karar mantığının ayarlanması gerekir.

Değerin gerçek ölçüsü net değerdir:

Otomasyon etkisini ölçme:

• Yatırımı gerekçelendirmek ve nelerin iyileştirileceğini bulmak için ölçüm yapın; iş akışlarını kullanıma almadan önce bir başlangıç ölçümü kaydedin.
• Çalıştırma başına tasarruf edilen zamanı, MTTR azalmasını ve otomasyon oranını (tamamen otomatikleştirilmiş, insan destekli veya manuel) izleyin.
• Hızı kaliteyle birlikte değerlendirin: yanlış pozitiflerin kapatılması, yeniden açılma oranı ve geçersiz kılma oranı.
• Ham çalıştırma sayıları gibi gösteriş ölçütlerinden kaçının; faaliyetleri her zaman sonuçlarla ilişkilendirin.
• İş akışlarına telemetri ekleyin, etkiyi liderliğin anlayacağı şekilde raporlayın (tasarruf edilen FTE, sistemde kalma süresi riski) ve sürekli bir iyileştirme döngüsü işletin.