多模态提示工程
探索如何为能够处理和生成文本、图像、音频等多种模态信息的人工智能模型编写提示。
多模态提示工程 是 CoddyKit 上的免费 AI Prompt Engineering 课时。 这是第 2 节课，共 3 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 AI Prompt Engineering 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 AI Prompt Engineering 课程共包含 3 节课。
多模态人工智能简介
欢迎学习多模态提示词工程！
您已经学会使用文本向人工智能发出提示。但如果人工智能还能够“看见”图像、“听见”音频，甚至“感受”视频呢？这就是多模态人工智能的力量。
本课将探讨如何为能够理解和生成不同类型数据（即不同“模态”）内容的人工智能模型设计提示词。
理解模态
模态指特定类型的数据或信息，例如：
- 文本：我们阅读和书写的文字。
- 图像：照片、绘画、图表。
- 音频：语音、音乐、声音。
- 视频：带有声音的动态画面。
多模态人工智能模型经过训练，能够 process 并关联这些不同形式的数据，从而以更接近人类的方式理解世界。
使用图像输入进行提示
一种常见的多模态任务是将图像作为输入，与文本提示词结合使用。您可以询问人工智能有关图像的问题，或描述其中发生的事情。
这样可以让人工智能基于视觉上下文理解内容，从而生成更准确、更相关的文本响应。
- 示例：上传一张狗的图片。提示词：“描述这只动物，并猜猜它是什么品种。”
从文本生成图像
反过来，您也可以提供详细的文本提示词来生成图像。这种方式常用于艺术生成、设计或视觉叙事等创意任务。
人工智能会将您的文字转换为视觉呈现，让您的描述变为现实。
- 示例提示词：“生成一幅逼真的宁静森林日落图景，森林中有一条小溪流过，还有一只鹿正在饮水。”
音频互动：转录与生成
多模态模型也能够 process 并生成音频。这为语音助手、内容创作和无障碍工具带来了新的可能。
- 音频转文本：上传一个音频文件。提示词：“转录这段会议录音，并总结行动事项。”
- 文本转音频：提示词：“生成一个愉快的声音，说：‘您的订单已准备好取货！’”
跨模态理解
多模态提示的真正力量来自结合不同的输入，以获得更丰富的理解。
想象一下，您提供一张产品图像和一条用户评论（文本），然后请人工智能总结客户对其视觉设计的感受。
这样就能进行细致入微的分析，而这是单一模态无法独立完成的。
多模态输出：更丰富的响应
除了多模态输入之外，一些先进模型还能够生成多模态输出。这意味着单个提示词可以产生同时包含文本和图像，甚至文本和音频的响应。
- 示例提示词：“描述光合作用的 process，并附上一张简单的示意图。”
人工智能可以提供文字说明和相关图像。
挑战与注意事项
多模态提示会带来新的挑战：
- 一致性：确保不同模态中的信息不会相互矛盾。
- 对齐：确保人工智能能够正确关联不同类型数据中的概念。
- 偏差：训练数据中的偏差可能会在不同模态中表现出来。
- 计算成本：处理多个模态可能会消耗大量资源。
多模态应用程序接口示例
下面是一个简化的 Python 应用程序接口示例，展示您可以如何与假设的多模态应用程序接口互动。请注意，文本和文件路径都作为输入传入。
请尝试运行它，查看模拟输出！
class MultimodalAI:
def process(self, text_prompt,
image_path=None,
audio_path=None):
response = f"Processing: '{text_prompt}'"
if image_path:
response += f" + image: {image_path}"
if audio_path:
response += f" + audio: {audio_path}"
return response + "\nAI generates: (multimodal output)"
if __name__ == "__main__":
ai = MultimodalAI()
# Text + Image input
text_input = "Create a story about this image."
image_file = "forest_cat.jpg"
print(ai.process(text_input, image_path=image_file))
print("\n---")
# Text + Audio input
text_input = "Summarize this podcast."
audio_file = "tech_podcast.mp3"
print(ai.process(text_input, audio_path=audio_file))多模态应用
以下哪种情境最能代表多模态提示的应用？
回顾：多模态未来
您已经探索了精彩的多模态提示词工程世界！
- 我们定义了文本、图像和音频等模态。
- 学会了使用图像和音频输入向人工智能发出提示。
- 了解了如何从文本生成图像和音频。
- 理解了跨模态理解和多模态输出的力量。
- 回顾了一些主要挑战。
多模态人工智能正在让人机互动变得更加自然和强大。请继续进行探索！
常见问题解答
「多模态提示工程」课时是免费的吗？
是的 — 「多模态提示工程」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 AI Prompt Engineering 课程的其余内容，请升级到 CoddyKit PRO。 AI Prompt Engineering 课程共包含 3 节课。
「多模态提示工程」这节课中我会学到什么？
探索如何为能够处理和生成文本、图像、音频等多种模态信息的人工智能模型编写提示。 你通过在浏览器中直接运行的动手代码来练习 AI Prompt Engineering，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 AI Prompt Engineering 需要有经验吗？
无需任何先前经验。CoddyKit 上的 AI Prompt Engineering 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 2 节课，共 3 节。
「多模态提示工程」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 AI Prompt Engineering 课中编写并运行代码吗？
能。每节 AI Prompt Engineering 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 对抗性提示与防御
- 多模态提示工程
- 人工智能与人类协作的未来