自動化の効果測定

自動化は投資です。プレイブックの構築と保守にはエンジニアリングの時間がかかります。その費用を正当化し、改善点を把握するには、自動化したすべてのワークフローの効果を測定する必要があります。

指標がなければ、週に何時間も節約するプレイブックと、悪い判断をただ速く下しているだけのプレイブックを見分けられません。測定によって、自動化は根拠のない期待に基づく取り組みから、エンジニアリングの規律へと変わります。

最も直感的な指標はアナリストが削減できた時間です。自動化したタスクごとに手作業で行った場合の基準値を見積もり、実行回数を掛けます。

フィッシングのトリアージに手作業で30分かかり、月に200回実行される場合は、次のようになります。

SOCのパフォーマンスを捉える2つのライフサイクル指標があります。

• MTTD（Mean Time To Detect、平均検知時間）：侵害の発生から検知までの時間です。SOARの影響は比較的小さく、主に検知エンジニアリングの指標です。
• MTTR（Mean Time To Respond、平均対応時間）：検知から封じ込めまでの時間です。ここでSOARが力を発揮します。

プレイブックの導入前後でMTTRを追跡します。数時間から数分への短縮は、自動化が機能していることを示す最も明確な証拠です。

自動化率とは、手作業が必要だったイベントに対して、プレイブックが完全または部分的に処理したイベントの割合です。

次のように分けて確認します。

• 完全自動化：人が触れることなくクローズされたものです。
• 人による支援：プレイブックがエンリッチメントを行い、人が判断したものです。
• 完全手動：プレイブックが適用されなかったものです。

完全自動化と人による支援の割合が上昇していれば、カバレッジが拡大しています。割合が停滞している場合は、プレイブックの拡張が必要です。

判断が誤っていれば、速さに意味はありません。効率の指標と品質の指標を組み合わせます。

• 自動クローズの誤検知率（プレイブックが実際の脅威をクローズしてしまった割合）
• 再オープン率：プレイブックがクローズした後、アナリストが再オープンしなければならなかったケースの割合
• 上書き率：アナリストがプレイブックの推奨アクションを拒否する頻度

上書き率が高い高速なプレイブックは、時間を節約していません。不信感を生み出しているだけです。

印象的に見えても、誤解を招く数字があります。プレイブックの実行回数は、実行対象が単純なイベントや重複イベントであれば、見栄えだけの指標です。

プレイブックが月に10,000回実行されると生産的に聞こえます。しかし、そのうち9,000件が本来なら抑制すべき重複アラートであれば、実態は自動化の価値ではなく、上流のノイズにあります。アクティビティの件数は、必ず成果と削減時間に結び付けて評価します。

記録したものしか測定できません。すべてのプレイブックにテレメトリを組み込み、開始時と終了時に、判断、所要時間、元になったイベントを含む構造化された記録を出力します。

効果は比較によって測定するため、導入前の数値が必要です。自動化を展開する前に、現在のMTTR、手作業による処理時間、アラート種別ごとのアナリストの作業時間を記録します。

基準値を省いたチームは、価値を証明できません。比較対象のない自動化後の数値しか残らないためです。非公式な記録でも構わないので基準値を記録し、各プレイブックを本番稼働させた後に再測定します。

経営陣が関心を持つのは、プレイブックの内部構造ではなく、リスクとコストです。メトリクスを経営陣の言葉に置き換えます。

• 削減できた時間を、回収できたフルタイム換算（FTE）の稼働能力として示します。
• MTTRの短縮を、攻撃者の滞留時間と侵害リスクの低減として示します。
• 一貫性と監査カバレッジを、コンプライアンス対応の準備度として示します。

自動化を時間、リスク、コストに結び付ける単一のダッシュボードがあれば、プログラムの予算を確保し続けられます。

メトリクスはフィードバックループに取り込まれます。定期的に見直し、何を構築し、修正し、廃止するかを判断します。

• オーバーライド率が高い場合 → 判断ロジックが誤っているため、改善します。
• ノイズの多いアラートで自動化率が低い場合 → 新しいプレイブックの候補です。
• ほとんど起動しないプレイブック → メンテナンスの負担を減らすため、廃止を検討します。

自動化に終わりはありません。次にどこへ投資すべきかを、測定によって判断できます。

削減時間の数値だけでは、全体の半分しか分かりません。すべてのプレイブックには継続的なメンテナンスコストがかかります。インテグレーションは壊れ、APIは変わり、判断ロジックには調整が必要です。

価値を正直に測るには、正味の効果を見ます。

自動化の効果を測定する方法：

• 投資の正当性を示し、改善点を見つけるために測定します。プレイブックを展開する前にベースラインを取得します。
• 1回の実行あたりの削減時間、MTTRの短縮、自動化率（完全自動化、人的支援、手動）を追跡します。
• 速度と品質を組み合わせて評価します。誤検知によるクローズ、再オープン率、オーバーライド率を確認します。
• 実行回数だけのような見栄えだけのメトリクスは避け、活動を必ず成果に結び付けます。
• テレメトリを使ってプレイブックを計測し、経営陣が理解できる指標（削減できたFTE、滞留時間のリスク）で効果を報告し、継続的改善のループを回します。