何时微调优于提示
针对狭窄任务或自定义格式进行微调，或借此缩短提示——不要用它来教授新事实。
何时微调优于提示 是 CoddyKit 上的免费 AI Agents 课时。 这是第 1 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 AI Agents 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 AI Agents 课程共包含 4 节课。
先提示，后微调
在考虑微调之前，始终先充分尝试提示设计：
- 更好的系统提示词
- 少样本示例
- 工具描述
- 更好的模型
- 结构化输出 / Pydantic
- RAG
- …… THEN 微调
微调何时有帮助
- 特定格式或风格 — 您定制的 YAML 输出语言
- 狭窄领域 — 医疗、法律、代码审查
- 延迟 — 较短的提示词（无需少样本示例）-> 推理更快
- 成本 — 较短的提示词 -> 计费令牌更少
- 一致的人设 — 角色口吻、品牌语调
微调何时有害
- 教授事实 — RAG 更好。微调模型会遗忘事实
- 通用推理 — 前沿模型已经非常擅长
- 频繁更新 — 重新训练速度很慢
- 微型数据集 — 少于 100 个示例通常很难带来明显变化
闭源模型微调
OpenAI 和 Anthropic 都提供微调 API：
# OpenAI:
client.fine_tuning.jobs.create(
training_file='file-abc',
model='gpt-4o-mini-2024-07-18'
)开源模型微调
对于 Llama/Mistral/Qwen，您可以完全掌控一切。可用工具包括：
- Unsloth — 速度最快，所需 VRAM 较少
- Axolotl — 由配置驱动，功能全面
- LLaMA-Factory — 中国团队开发的替代方案
- HuggingFace TRL — 官方方案，灵活性高
全量微调与 PEFT
有两种方式：
- 全量微调 — 更新每个权重。成本高（需要巨量 VRAM）。
- PEFT / LoRA — 训练很小的适配器层。成本低 100 倍，对于大多数任务而言质量相近。
微调成本（OpenAI）
约值（2025 年年中）：
- 训练：每 1K 个令牌 0.003 美元
- 在微调后的模型上进行推理：比基础模型略贵
- 数万个示例：训练总成本为 20-200 美元
微调成本（自托管）
使用 Lambda Labs 时，一个 8xH100 小时的成本约为 100 美元。在 Llama 70B 上使用 10k 个样本进行 LoRA 微调：总成本约为 50-150 美元。
数据量经验法则
- 50 个示例 — 仅对风格或格式有用
- 500 个示例 — 带来有意义的改进
- 5,000 个以上的示例 — 带来显著的新能力
- 50,000 个以上的示例 — 相对于数据集质量而言，收益递减
数据从哪里来
- 生产环境轨迹（包含修正）
- 由更强模型生成的合成数据
- 人工标注
- 公开数据集
微调、RAG 与提示设计的选择
| 目标 | 最佳方式 |
|---|---|
| 新增事实 | RAG |
| 新增格式 | 微调（或强提示词） |
| 新增风格 | 微调 |
| 更好的推理 | 更强的模型 |
| 降低成本或延迟 | 更小的模型 + 微调 |
评估前后对比
请始终在 YOUR 评估集上对比调优后的模型与基础模型。有时调优结果会更差——请做好放弃它的准备。
微调的最佳理由
以下哪一项是进行微调的 BEST 理由？
回顾
先使用提示；只有出于狭窄的格式、风格或领域需求时才进行微调。使用 PEFT/LoRA 来降低成本。始终在微调前后进行评估。
常见问题解答
「何时微调优于提示」课时是免费的吗？
是的 — 「何时微调优于提示」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 AI Agents 课程的其余内容，请升级到 CoddyKit PRO。 AI Agents 课程共包含 4 节课。
「何时微调优于提示」这节课中我会学到什么？
针对狭窄任务或自定义格式进行微调，或借此缩短提示——不要用它来教授新事实。 你通过在浏览器中直接运行的动手代码来练习 AI Agents，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 AI Agents 需要有经验吗？
无需任何先前经验。CoddyKit 上的 AI Agents 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 1 节课，共 4 节。
「何时微调优于提示」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 AI Agents 课中编写并运行代码吗？
能。每节 AI Agents 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。