开放问题：稳健性、对齐与长时记忆

尽管取得了巨大进展，智能体的根本问题仍有待解决。了解这些问题，有助于您判断如今实际能够构建什么。

即使智能体在 99% 的情况下都能正常工作，也仍会在边界情况下灾难性地失败：

• 提示注入攻击仍然过于容易成功
• 工具会以新颖而意外的方式失败
• 长期任务会累积小错误
• 分布偏移每周都会导致生产环境中的智能体失效

• 宪法式 AI（Anthropic）
• 自洽性与验证链
• 对抗训练
• 规范驱动开发

智能体代表用户行事，但用户、智能体和 AI 公司可能有不同的目标。当这些目标发生冲突时，谁的价值观应当优先？

• 智能体是否应拒绝合法但不道德的任务？
• 智能体是否应为了长期福祉而违背用户的短期意愿？
• 智能体是否应纠正用户的错误信息？

• RLHF — 根据人类偏好进行训练
• 宪法式 AI — 让模型依据原则进行自我批评
• 辩论 — 由两个智能体展开论证，再由人类评判
• 可扩展监督 — 让 AI 帮助人类监督 AI

这是智能体特有的问题：即使 LLM 已经完成对齐，在获得工具后也可能变得失配。模型“想要”提供帮助，但它使用工具时采取的捷径可能会牺牲用户安全。这是所有主要实验室都在积极研究的领域。

能够持续工作数小时、数天乃至数月的智能体，仍然难以记住哪些事情真正重要：

• 向量存储只能找回 TEXT，而不是理解
• 摘要会丢失细节
• 程序性记忆无法泛化
• 事实相互矛盾时，没有好的方法将它们“合并”起来

• MemGPT / Letta — 明确划分记忆层级
• 用于存储的稀疏混合专家模型
• 自编辑权重（测试时训练）
• 从情景记忆到语义记忆的蒸馏

能够提前规划 5 步的智能体很常见；而 50 步的规划却经常偏离目标。分层分解有所帮助，但无法彻底解决问题。

• 规划会随着时间推移而偏离
• 失败会不断累积
• 重新规划的成本很高

最先进的智能体完成一项复杂任务的成本为 1 至 10 美元。要用于始终在线的消费者产品，价格必须降低 10 至 100 倍。趋势包括：

• 将模型蒸馏为更小的模型
• 硬件（Cerebras、Groq、Etched）
• 更好的路由与缓存

多智能体系统会出现涌现式的协作失调——当激励相互冲突时，智能体可能彼此竞争、撒谎或串通。机制设计和博弈论正在进入智能体技术栈。

如今的基准测试几乎无法覆盖真实的生产工作。对长尾任务、多模态任务和持续多日任务的覆盖都很不足。构建更好的基准测试仍是一项开放的研究工作。

• 智能体会积累个人数据——这些数据如何得到保护？
• 多租户智能体可能在用户之间泄露数据
• 模型可能记住敏感的训练数据
• 当智能体做出有害决策时，责任归属仍不明确

未来的发展方向可能包括：

• 在推理时进行更好的推理
• 更紧密地整合符号方法与神经方法
• 稳健的多智能体协作协议
• 在受监管领域使用可验证、可审计的智能体
• 更完善的人机协作基础构件

如今的智能体在许多任务中都极其有用，但在没有人工复核的情况下，绝 NEVER 应将它们用于高风险的自主决策。请围绕“智能体提供帮助”和“人类进行批准”之间的边界进行设计。

自互联网以来，智能体是软件领域最具影响力的范式。请谨慎构建。诚实地评估。保护用户。持续学习最新进展。

以下哪一项在智能体领域仍是 UNSOLVED 问题？