长上下文为何无法扩展
成本会线性增长，质量会下降，而“中间遗失”现象会让模型忘记埋藏在长提示词中的内容。
长上下文为何无法扩展 是 CoddyKit 上的免费 AI Agents 课时。 这是第 2 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 AI Agents 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 AI Agents 课程共包含 4 节课。
越大不一定越好
现代模型拥有巨大的上下文窗口——20 万、100 万，甚至 200 万个令牌。与其构建真正的记忆，不如“把所有内容直接塞进去”，这种做法很有诱惑力。
这种方法在生产环境中会因三个原因而失败。
原因 1：成本
每次调用中的每个令牌都会产生费用。一个包含 10 万个令牌的系统提示词，加上 1000 轮对话，就等于 1 亿个输入令牌，每个会话总计数十美元。
提示词缓存有所帮助，但无法消除这项成本。
原因 2：延迟
处理 10 万个输入令牌会使首令牌时间增加 1–3 秒。对于聊天用户体验，您应将 TTFT 控制在 500 毫秒以内。
原因 3：质量下降
模型对长提示词中间部分的内容关注较少——这就是 Liu 等人于 2023 年记录的“中间遗忘”效应。
开头或结尾的信息通常能被准确回忆；中间的信息则经常被遗漏。
一个具体测试
在长文档的不同位置插入一个独特事实，并要求模型检索它。准确率如下：
- 文档开头：95%
- 文档结尾：90%
- 中间：50–70%
长上下文用于评估，而非生产环境
长上下文适合一次性任务（例如分析整个代码库），但不适合持续运行的生产智能体。
在生产环境中，请使用检索机制，在每一轮只注入相关的 5% 内容。
长上下文何时有用
- 初始代码库分析
- 在一次调用中对完整文档进行问答
- 比较两份长文档
适用于无需重放的一次性任务。
长上下文何时有害
- 包含数百轮对话的聊天机器人
- 由多个用户共享的多租户智能体
- 任何成本或延迟都很重要的场景
正确的架构
对于长期运行的智能体：
- 将最近的轮次放入提示词（最后 10–20 轮）
- 将较早的轮次总结为持续更新的总结
- 将事实转换为向量并存入长期记忆
- 每轮检索排名前 K 的相关记忆
混合方法
组合使用多种技术：
messages = [
{'role': 'system', 'content': PERSONA},
{'role': 'system', 'content': f'Conversation summary so far: {summary}'},
{'role': 'system', 'content': f'Relevant past facts: {retrieved_facts}'},
*last_n_turns,
]压缩触发条件
决定 WHEN 执行 compact：
- 每 N 轮执行一次（简单）
- 令牌数超过阈值时执行（更好）
- 模型开始遗忘时执行（最佳，但难以检测）
中间遗忘
什么是“中间遗忘”效应？
回顾
不要通过最大化上下文来解决记忆问题。请使用总结和检索，在每轮呈现真正重要的内容。
常见问题解答
「长上下文为何无法扩展」课时是免费的吗？
是的 — 「长上下文为何无法扩展」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 AI Agents 课程的其余内容，请升级到 CoddyKit PRO。 AI Agents 课程共包含 4 节课。
「长上下文为何无法扩展」这节课中我会学到什么？
成本会线性增长，质量会下降，而“中间遗失”现象会让模型忘记埋藏在长提示词中的内容。 你通过在浏览器中直接运行的动手代码来练习 AI Agents，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 AI Agents 需要有经验吗？
无需任何先前经验。CoddyKit 上的 AI Agents 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 2 节课，共 4 节。
「长上下文为何无法扩展」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 AI Agents 课中编写并运行代码吗？
能。每节 AI Agents 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 上下文窗口中的短期记忆
- 长上下文为何无法扩展
- 将摘要作为压缩方式
- 简单记忆存储（键值）