处理无答案情况与长文档
分块并检查置信度
处理无答案情况与长文档 是 CoddyKit 上的免费 NLP Academy 课时。 这是第 4 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 NLP Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 NLP Academy 课程共包含 4 节课。
有时并不存在答案
现实中的问题经常在段落中没有答案。稳健的 QA 系统应当承认这一点，而不是强行猜测错误答案。🤔
空答案的概念
经过此类任务训练的模型会学习一个空答案选项。当没有合适的文本片段时，它们会指向空答案，而不是自行编造答案。
允许空答案
在管道中，将处理无法回答的问题设置为 true，这样当上下文中没有匹配内容时，它就能返回空字符串。
qa(question=q, context=c,
handle_impossible_answer=True)用分数作为门槛
置信度分数就是您的安全门槛。如果它低于您认可的阈值，就应将该回复视为没有答案。
if result["score"] < 0.2:
answer = "I do not know."长文档会超出限制
Transformer 有固定的最大长度，通常是 512 个词元。长文档无法一次完整放入模型。
分块处理上下文
解决方法是分块：将长文档拆分成相互重叠的窗口，然后分别在每个窗口上运行 QA。
窗口为何要重叠
各个文本块应当稍微重叠。否则，位于文本块边界的答案可能会被拆开，遗失在两个窗口之间。
内置滑动窗口
QA 管道可以替您完成这项工作。设置文档步幅即可控制每个窗口与前一个窗口的重叠程度。
qa(question=q, context=long_text,
max_seq_len=384, doc_stride=128)合并各文本块的答案
每个文本块都会产生自己的答案和分数。您应在所有文本块中保留分数最高的候选答案，作为最终回复。
先检索，再阅读
对于海量文档集合，请先检索出少量最相关的段落，然后只对这些段落运行 QA。这是大型 QA 系统的核心做法。
诚实才能建立信任
不确定时返回没有答案是一项功能，而不是缺陷。诚实的 QA 比自信地猜错答案更能赢得用户信任。🛡️
快速检查
我们如何将非常长的文档输入 QA 模型？
回顾
允许空答案并根据分数设置门槛，以保持诚实；对长文档进行重叠分块，然后保留分数最高的文本片段。现在，您已经可以构建稳健的 QA 系统了。🎉
用 AI 导师学习 Python — 免费
在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「处理无答案情况与长文档」课时是免费的吗？
是的 — 「处理无答案情况与长文档」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 NLP Academy 课程的其余内容，请升级到 CoddyKit PRO。 NLP Academy 课程共包含 4 节课。
「处理无答案情况与长文档」这节课中我会学到什么？
分块并检查置信度 你通过在浏览器中直接运行的动手代码来练习 NLP Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 NLP Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 NLP Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 4 节课，共 4 节。
「处理无答案情况与长文档」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 NLP Academy 课中编写并运行代码吗？
能。每节 NLP Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 抽取式 QA 与生成式 QA
- 运行 QA 流水线
- 在上下文中查找答案片段
- 处理无答案情况与长文档