音频、文本与视觉协同
协调多种输入。
音频、文本与视觉协同 是 CoddyKit 上的免费 AI Prompt Engineering 课时。 这是第 3 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 AI Prompt Engineering 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 AI Prompt Engineering 课程共包含 4 节课。
三个通道，一个上下文
协调音频、文本和视觉，意味着要将三个输入流编排成一个连贯的上下文。每种模态都有不同的词元成本、保真度特征和失败模式，但模型仍会将它们融合到同一个注意力空间中。
- 音频：具有时间性和顺序性，在压缩下会产生损失。
- 视觉：具有空间性，受切块预算限制，细节容易受损。
- 文本：精确且成本低，但可能覆盖其他模态。
关键在于安排它们的顺序，使每种模态都相互加强，而不是淹没其他模态。
明确模态角色，而非模态大杂烩
请在提示中为每个输入分配明确的角色。如果不清楚哪个通道具有权威性，不同运行结果之间就会出现不一致的答案。
- 视觉 = 所显示内容的事实依据。
- 音频转写文本 = 关于该内容所说的话。
- 文本指令 = 任务契约和优先级规则。
请预先说明这些角色，让模型知道发生冲突时应以哪个来源为准。
header = (
'INPUTS: (1) a video frame [authoritative for visible state], '
'(2) an audio transcript [authoritative for spoken intent], '
'(3) this instruction [defines the task]. '
'On conflict, prefer the frame for state and the transcript for intent.'
)将音频与帧对齐
音频和视觉必须在时间上对齐，否则模型会将错误的词语与错误的图像联系起来。请提供明确的对齐信息：为转写文本标注时间戳，也为帧标注时间戳，然后让模型按时间建立对应关系。
没有对齐元数据时，模型只能猜测这种映射——对于宽松的任务可能尚可，但对于同步分析则是致命问题。
payload = {
'frames': [{'t': 0.0, 'image': f0}, {'t': 2.5, 'image': f1}],
'transcript': [
{'start': 0.0, 'end': 2.4, 'text': 'Now I tighten the bolt.'},
{'start': 2.5, 'end': 5.0, 'text': 'It is fully seated.'}
]
}预先转写还是原始音频
您可以将原始音频传给原生音频模型，也可以先通过专用的 ASR 步骤进行预先转写，再传入文本。两种方式各有取舍。
- 原始音频：保留韵律、语气和重叠语音，但消耗更多词元，也更难进行证据锚定。
- 预先转写：成本低，可通过时间戳引用，但会丢失非词汇线索（讽刺、紧迫感）。
请根据任务进行选择：情绪或意图分析 -> 原始音频；事实提取 -> 转写文本。
交错内容的顺序
通道出现的顺序会影响注意力。对于分析任务，一个稳健的默认顺序是：
- 任务契约和角色（文本）。
- 视觉证据（帧），每帧都标有标签和时间戳。
- 带时间戳的音频转写文本。
- 具体问题（文本），并引用标签和时间。
将问题放在最后，可以让模型关注之前已经编码的全部内容。
令牌预算分诊
三个通道争用同一个上下文窗口。视觉信息的成本最高；未压缩音频次之。发送前请先分诊：
- 按照任务所需的速率对帧进行采样，而不是处理每一帧。
- 将帧裁剪到动作区域。
- 将音频切分为相关片段，并丢弃静音。
请把预算花在答案所在之处。
def select_frames(frames, fps_target, src_fps):
step = max(1, round(src_fps / fps_target))
return frames[::step]跨模态交叉印证
多输入提示的最大收益在于交叉印证：当同一个事实可以从两个通道独立推导出来时，两者一致就是有力证据，而不一致则是明显的警示信号。
请提示模型分别从每个通道推导关键事实，并报告它们是否一致，而不是将结果合并成一个无法看出其信任了哪个来源的答案。
ask = (
'For each claim report: from_vision, from_audio, agree(bool). '
'If only one channel supports it, say which and lower confidence.'
)处理缺失或质量下降的通道
真实输入可能出现质量下降：声音含混的片段、模糊的帧、截断的转录文本。请告诉模型如何根据不完整证据继续处理，而不要让它凭空编造缺失通道的内容。
- “如果某个片段的音频无法听清，请标记为 [INAUDIBLE]。”
- “如果某一帧过于模糊而无法读取，请针对该字段返回‘不可读’。”
优雅降级胜过悄无声息地编造内容。
说话人与对象的共同指代
困难的多模态任务要求将谁在说话（音频说话人分离）与谁出现在画面中（视觉信息）联系起来。请明确这种共同指代关系：要求模型根据时间信息以及嘴唇运动、手势等可见线索，将说话人标签映射到画面中的人物。
请强制模型同时使用时间戳和视觉线索，为每个绑定关系提供依据。
binding = {
'speaker': 'S1', 'person_box': [0.1,0.2,0.4,0.9],
'evidence': 'lips move during 3.2-4.1s; gestures while speaking'
}输出：融合但可追溯的答案
最终答案应当为了便于阅读而进行融合，同时在底层保留按通道追溯的能力。请输出一个结构化对象：其中包含综合结论，以及来自每个模态的支持证据，并附上相应的时间戳或边界框。
这样，人们可以接受便于使用的摘要，同时仍能将任何单条陈述追溯并审查到其来源通道。
out = {
'summary': 'The technician seated the bolt correctly.',
'evidence': [
{'modality': 'vision', 'box': [0.3,0.4,0.6,0.7], 't': 2.5},
{'modality': 'audio', 'quote': 'It is fully seated.', 't': 3.0}
]
}编排检查清单
进行任何三模态调用前，请确认：
- 已说明角色和优先级。
- 帧和转录文本已标注时间戳并完成对齐。
- 各通道已完成分诊，以适应预算。
- 已请求交叉印证并标记不一致之处。
- 已定义降级令牌（INAUDIBLE、不可读）。
- 输出已融合，但证据仍可追溯。
每一项都能针对多输入融合中的一种具体失败模式进行防范。
快速检查
您正在分析一段教程视频，需要了解旁白所说的陈述是否与每个步骤中的屏幕动作相符。
回顾：协调多个输入
当您为通道分配明确的角色和优先级、按时间戳对齐音频与帧、对各通道进行分诊以适应预算，并请求按通道交叉印证且为缺失证据设置降级令牌时，三模态提示才能成功。请根据韵律是否重要，决定使用原始音频还是预先转录的文本。请交付一份融合摘要，同时仍能将每条陈述追溯到某个边界框或时间戳——便于阅读，也可以审查。
常见问题解答
「音频、文本与视觉协同」课时是免费的吗？
是的 — 「音频、文本与视觉协同」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 AI Prompt Engineering 课程的其余内容，请升级到 CoddyKit PRO。 AI Prompt Engineering 课程共包含 4 节课。
「音频、文本与视觉协同」这节课中我会学到什么？
协调多种输入。 你通过在浏览器中直接运行的动手代码来练习 AI Prompt Engineering，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 AI Prompt Engineering 需要有经验吗？
无需任何先前经验。CoddyKit 上的 AI Prompt Engineering 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 3 节课，共 4 节。
「音频、文本与视觉协同」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 AI Prompt Engineering 课中编写并运行代码吗？
能。每节 AI Prompt Engineering 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。