AIシステムの脅威モデリング

AIの脅威モデリングへようこそ！AI特有の内容に入る前に、基本を理解しましょう。

脅威モデリングとは、システム内に存在する可能性のあるセキュリティ脅威、脆弱性、対策を特定するための体系的なプロセスです。攻撃者の視点で考えるのに役立ちます。

• 資産の特定：何を保護する必要がありますか（データ、モデル、ユーザーアカウントなど）。
• 脅威の特定：誰が、どのような方法で攻撃する可能性がありますか。
• 脆弱性の特定：悪用される可能性のある弱点です。
• 緩和策の特定：リスクを軽減または排除するにはどうすればよいですか。

従来のソフトウェアセキュリティがコードとインフラに重点を置くのに対し、AIは新たな攻撃対象領域を生み出します。

AIシステムには、次のような特徴があります。

• データ駆動型：操作される可能性のある学習データに大きく依存します。
• 確率的：判断が常に決定論的とは限らないため、異常を見つけるのが困難です。
• 「ブラックボックス」：複雑なモデルは不透明で、脆弱性が隠れている可能性があります。

こうした特徴により、従来のセキュリティモデルでは見逃す可能性のある、固有の脅威が生じます。

AIが悪い情報から学習する状況を想像してください。それがデータポイズニングです。

この攻撃では、AIモデルの学習データセットに悪意のあるデータや改変されたデータを注入します。目的は、モデルの学習プロセスを破壊したり、特定のバイアスを組み込んだりすることです。

影響：

• モデルが誤った予測や偏った予測を出力する。
• 特定の入力によって意図した悪意のある出力を引き起こす、バックドア脆弱性が生じる。

たとえば、迷惑メールフィルターの学習データに「迷惑メールではない」とラベル付けした迷惑メールを追加すると、フィルターの効果が低下する可能性があります。

モデル回避とは、攻撃者が入力をわずかに変更し、AIモデルに誤った予測をさせることです。

このような入力は、敵対的サンプルと呼ばれることがよくあります。人間には通常の入力に見えますが、AIはそれを誤って解釈します。

影響：

• セキュリティシステムの回避（例：顔認証）。
• 重要なデータの誤分類（例：良性腫瘍を誤って判定する）。

典型的な例として、ほとんど見えない小さなステッカーが貼られた一時停止標識を、自動運転車が「譲れ」の標識だと認識してしまうケースがあります。

これらの攻撃は、モデルの知的財産と、学習データのプライバシーを標的にします。

• モデル反転：攻撃者がモデルの出力を観察し、モデルの学習データに含まれる機密情報を再構成しようとします。これはプライバシー上のリスクです。
• モデル抽出（盗用）：攻撃者が独自のAIモデルに繰り返しクエリを送り、その基盤となるロジックを学習します。これにより、モデルに直接アクセスせずに実質的なコピーを作成します。これは知的財産を盗用するリスクです。

どちらの攻撃も、モデルの予測結果へのアクセスを利用して、内部の仕組みや学習データをリバースエンジニアリングします。

STRIDE脅威モデリングフレームワーク（Spoofing、Tampering、Repudiation、Information Disclosure、Denial of Service、Elevation of Privilege）は、AI向けに適用できます。

• AIにおけるなりすまし：攻撃者が正規のデータソースやAIモデル、さらにはAIを操作するユーザーになりすまします。
• AIにおける改ざん：学習データやモデルの重みなどのデータ、またはAIシステム自体を不正に変更し、動作や出力を変化させます。

これらの脅威は、AIシステムの完全性と真正性を損なうことを目的としています。

STRIDEの説明を続けて、説明責任とプライバシーについて見ていきましょう。

• AIにおける否認：攻撃者が悪意のあるデータの注入などの行為を実行した後、その行為を否認し、追跡可能な証拠を残しません。これは、堅牢なログ記録が必要であることを示しています。
• AIにおける情報漏えい：機密情報が不正に公開されることです。AIでは、独自のモデルアーキテクチャ、アルゴリズム、学習に使用した非公開データなどが明らかになる可能性があります。

データを保護し、説明責任を確保することは、信頼とコンプライアンスのために極めて重要です。

STRIDEの最後の2つのカテゴリーは、可用性と制御に焦点を当てています。

• AIにおけるサービス拒否（DoS）：攻撃者がAIサービスに大量のリクエストを送りつけたり、リソースを大量に消費する計算を実行したりして、正規のユーザーが利用できない状態にします。これはSaaSの信頼性に影響します。
• AIにおける権限昇格：攻撃者がAIシステム内で不正なアクセス権や、より高いレベルの権限を取得します。これにより、モデルの変更、機密データへのアクセス、重要な機能の制御などが可能になるおそれがあります。

これらの攻撃は、AI SaaSの運用を大きく妨げ、セキュリティを損なう可能性があります。

脅威を特定したら、具体的な防御策を実装します。

• データ検証：すべての入力データと学習データを厳密に検査し、サニタイズします。
• モデルの堅牢性：敵対的学習などの手法を使用して、回避攻撃を受けにくいモデルにします。
• アクセス制御：データ、モデル、AIサービスのエンドポイントに対して、強力な認証と認可を実装します。
• 監視：モデルの性能とシステムログを継続的に監視し、異常を検出します。
• 安全なデプロイ：安全で隔離された環境にAIモデルをデプロイするためのベストプラクティスに従います。

AI SaaSを安全にするには、多層的なアプローチが鍵となります。

効果的な防御を構築するには、AI特有のさまざまな攻撃を区別することが重要です。

お疲れさまでした。AIシステムの脅威モデリングという重要な領域について学びました。

AIには、従来のソフトウェアにはない独自のセキュリティ上の課題があることを学びました。データポイズニング、モデル回避、モデル反転／抽出など、AI特有の脅威について取り上げました。

また、STRIDEフレームワークをAI向けに適用し、なりすまし、改ざん、否認、情報漏えい、サービス拒否、権限昇格に関するAI特有の脆弱性を特定できることも確認しました。

堅牢で信頼できるAI SaaS製品を構築するには、プロアクティブな脅威モデリングが不可欠です。