人工智能系统的威胁建模

欢迎学习 AI 威胁建模！在深入了解 AI 的具体内容之前，我们先来理解基础知识。

威胁建模是在系统中识别潜在安全威胁、漏洞和应对措施的结构化过程。它能帮助您像攻击者一样思考。

• 识别资产：您要保护什么？（数据、模型、用户账户）
• 识别威胁：谁可能发起攻击？会如何攻击？
• 识别漏洞：可能被利用的弱点。
• 识别缓解措施：如何降低或消除风险。

传统软件安全侧重于代码和基础设施，而 AI 引入了新的攻击面。

AI 系统之所以独特，是因为它们具有以下特点：

• 数据驱动：高度依赖训练数据，而训练数据可能被操纵。
• 概率性：决策并不总是确定的，因此更难发现异常。
• “黑盒”：复杂模型可能不透明，从而隐藏漏洞。

这些特点会带来传统安全模型可能忽略的特定威胁。

想象一下，AI 正在从错误的信息中学习。这就是数据投毒。

这种攻击会将恶意或经过操纵的数据注入 AI 模型的训练数据集。其目标是破坏模型的学习过程，或引入特定偏见。

影响：

• 模型提供错误或有偏见的预测。
• 出现后门漏洞，使特定输入触发攻击者想要的（恶意）输出。

例如，在垃圾邮件过滤器的训练数据中加入标记为“非垃圾邮件”的垃圾邮件，可能会降低过滤器的有效性。

模型规避是指攻击者构造经过细微修改的输入，导致 AI 模型做出错误预测。

这类输入通常称为对抗样本。对人类来说，输入看起来很正常，但 AI 会误解它。

影响：

• 绕过安全系统（例如人脸识别）。
• 错误分类关键数据（例如将良性肿瘤误判为其他类型）。

一个经典例子是：攻击者在停车标志上贴上微小、几乎不可见的贴纸，导致自动驾驶汽车将其识别为“让行”标志。

这些攻击的目标是模型的知识产权以及训练数据的隐私。

• 模型反演：攻击者通过观察模型的输出，尝试从模型的训练数据中重建敏感信息。这会带来隐私风险。
• 模型提取（窃取）：攻击者反复查询专有 AI 模型，以了解其底层逻辑，从而在无法直接访问模型的情况下有效创建模型副本。这会带来知识产权被窃取的风险。

这两类攻击都利用对模型预测结果的访问权限，来逆向分析模型的内部工作原理或训练数据。

STRIDE威胁建模框架（欺骗、篡改、抵赖、信息泄露、拒绝服务、权限提升）可以针对 AI 进行调整。

• AI 中的欺骗：攻击者冒充合法的数据源、AI 模型，甚至是与 AI 交互的用户。
• AI 中的篡改：指未经授权修改数据（例如训练数据、模型权重）或 AI 系统本身，从而导致行为或输出发生改变。

这些威胁旨在破坏您的 AI 系统的完整性和真实性。

继续学习 STRIDE，下面来了解可追责性和隐私。

• AI 中的抵赖：攻击者执行某项操作（例如注入恶意数据），随后否认实施过该操作，并且不留下可追溯的证据。这说明完善的日志记录十分必要。
• AI 中的信息泄露：指敏感信息未经授权被暴露。对于 AI，这可能意味着泄露专有模型架构、算法或用于训练的私有数据。

保护数据并确保可追责性，对于建立信任和实现合规至关重要。

STRIDE 的最后两个类别关注可用性和控制权。

• AI 中的拒绝服务（DoS）：攻击者向 AI 服务发送大量请求，或执行消耗大量资源的计算，使服务无法供合法用户使用。这会影响您的 SaaS 的可靠性。
• AI 中的权限提升：攻击者在 AI 系统中获得未经授权的访问权限或更高级别的权限，可能因此修改模型、访问敏感数据或控制关键功能。

这些攻击可能严重干扰您的 AI SaaS 运营，并损害其安全性。

识别威胁后，请实施具体的防御措施：

• 数据验证：严格检查并清理所有输入数据和训练数据。
• 模型稳健性：使用对抗训练等技术，降低模型受到规避攻击影响的可能性。
• 访问控制：为数据、模型和 AI 服务端点实施强身份验证与授权机制。
• 监控：持续监控模型性能和系统日志，及时发现异常。
• 安全部署：遵循最佳实践，在安全、隔离的环境中部署 AI 模型。

采用多层防御方法是保护 AI SaaS 安全的关键。

做得很好！您已经学习了 AI 系统威胁建模这一重要领域。

我们了解到，AI 引入了传统软件之外的独特安全挑战。我们学习了数据投毒、模型规避以及模型反演/提取等具体的 AI 威胁。

我们还了解了如何调整 STRIDE 框架，以识别与欺骗、篡改、抵赖、信息泄露、拒绝服务和权限提升相关的 AI 专属漏洞。

主动进行威胁建模对于构建稳健且值得信赖的 AI SaaS 产品至关重要！