模型、数据与供应链风险

LLM 应用由许多第三方组件构建而成：基础模型、微调模型、数据集、嵌入、插件以及常规的软件依赖项。每个环节都可能成为攻击者植入恶意内容的入口。

与传统软件不同，机器学习制品通常是从公共平台获取的大型不透明二进制文件，来源信息薄弱。被投毒的权重文件或带后门的数据集很难通过检查发现。

保护流水线意味着从源头到生产环境跟踪并验证每个组件。

数据投毒会操纵训练或微调数据，从而破坏生成的模型。能够贡献哪怕一小部分训练样本的攻击者，也可能使模型行为发生可测量的偏移。

• 可用性攻击：降低整体准确率。
• 定向攻击：导致特定的错误分类。
• 后门攻击：植入隐藏触发器（见下一场景）。

抓取的网络数据和用户贡献的 RAG 文档是常见的投毒入口，因为数据量大且审查不充分。

后门是一种投毒攻击，模型通常表现正常，只有当秘密触发器出现在输入中时才会表现异常。触发器可能是罕见短语、令牌序列或水印模式。

例如，一个在投毒数据上微调的代码补全模型会一直正确运行，直到出现一条特殊注释，随后输出不安全代码。后门具有隐蔽性，因为标准基准测试结果看起来正常。

防御措施：仅从可信且已签名的模型提供商处获取模型；运行触发器检测和异常扫描；使用您控制的经验证数据进行微调。

模型权重不只是数据；某些格式在加载时会执行代码。Python pickle（旧版 PyTorch .bin 和 .pt 文件使用的格式）可能在反序列化期间运行任意代码。

加载使用 pickle 序列化的不可信模型，等同于运行不可信的程序。

• 优先使用安全张量格式，它只存储张量，无法执行代码。
• 扫描或将任何必须加载的 pickle 置于沙箱中。
• 将来自公共平台的模型文件视为不可信二进制文件。

确定每个制品的来源，并确认其未遭篡改。

• 固定模型和数据集的确切版本及修订版本，绝不使用 latest。
• 根据已知正确值验证校验和或哈希值。
• 优先使用已签名的制品；如果发布者提供签名，请进行验证。
• 维护一份机器学习-BOM（物料清单），列出模型、数据集及其来源。

模型可能会记忆训练数据，之后再现其中的部分内容，包括机密、PII 或受版权保护的文本。攻击者会利用提取攻击诱导模型泄露这些内容。

• 从训练和微调语料库中清除 PII 和机密信息。
• 应用去重；记忆现象与重复样本相关。
• 考虑对敏感数据集采用差分隐私技术。
• 在发布前使用提取探针对模型进行测试。

两种隐私攻击针对已部署的模型：

• 成员推断：确定某条特定记录是否存在于训练集中。这本身可能构成隐私泄露（例如在医疗数据集中）。
• 模型反演：根据模型行为或嵌入重建具有代表性的训练输入。

可以通过限制置信度分数的暴露、添加正则化或差分隐私，以及限制对高价值模型的不受约束的查询访问来缓解这些风险。

RAG 系统将文档嵌入存储在向量数据库中。这些嵌入也有自身的风险：

• 嵌入反演：嵌入可能泄露足够的信息，使攻击者能够部分重建源文本，因此属于敏感数据。
• 跨租户泄露：没有访问控制的检索可能暴露其他租户的文档。
• 索引投毒：添加到索引中的恶意文档可能劫持后续检索结果（间接注入）。

在检索时强制执行访问控制，并在建立索引前审查文档。

除模型外，LLM 应用还依赖常规软件供应链，以及赋予模型新能力的插件和连接器。

• 恶意或已遭入侵的插件可能读取上下文并外泄数据。
• 拼写仿冒或被劫持的 PyPI/npm 软件包可能在应用中植入后门。
• 存在漏洞的传递依赖项会扩大攻击面。

使用锁定文件，使用 SCA 工具扫描，审查插件权限，并优先选择经过审核且已签名的来源。

将机器学习流水线视为其他生产持续集成/持续交付路径，并实施强有力的控制措施：

• 隔离训练和微调环境；限制可上传数据的人员。
• 在每个阶段对制品签名并验证；拒绝未签名或不匹配的制品。
• 通过异常检测和来源检查验证数据集。
• 持续监控已部署的模型，检查漂移和异常行为。

MITRE ATLAS 和 NIST 人工智能 RMF 等框架有助于构建这些控制措施。

模型、数据和供应链安全关乎整个生命周期中的信任与验证：

• 了解您的来源（来源信息、签名、机器学习-BOM）。
• 在权重和数据集经过验证前，将其视为潜在的恶意内容。
• 防范泄露、推断和反演造成的隐私风险。
• 严格保护依赖项、插件和向量存储。

阻止投毒制品最省成本的时机，是它尚未进入您的流水线之前。

请检验您对模型供应链安全的理解。

模型、数据和供应链风险：

• 机器学习供应链涵盖基础模型、微调模型、数据集、嵌入、插件和依赖项。
• 投毒和后门会破坏训练；请审核并签署数据来源。
• 避免使用不安全的对象序列化格式；对于不可信权重，优先使用安全张量格式。
• 通过版本、校验和、签名和机器学习-BOM 验证来源。
• 防范泄露、成员推断和反演造成的隐私风险；保护嵌入和向量存储。
• 严格保护依赖项和插件；以 ATLAS 和 NIST 人工智能 RMF 为指导，端到端保护流水线。