使用竞价实例进行训练
以极低成本运行可中断任务
使用竞价实例进行训练 是 CoddyKit 上的免费 MLOps Academy 课时。 这是第 3 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 MLOps Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 MLOps Academy 课程共包含 4 节课。
廉价计算资源，但有一个问题
云服务提供商会以大幅折扣出租闲置容量。这些竞价实例的成本最高可比按需机器低九成。
它们随时可能消失
问题在于，提供商可能几乎不提前通知就收回竞价实例。这种中断正是竞价实例便宜的原因，也说明您必须为此做好规划。
训练可以承受中断
训练非常适合使用竞价实例，因为它在后台运行，而不是直接面向用户。暂停的任务远没有丢失线上请求那么严重。
尽早并频繁创建检查点
关键习惯是在中断发生前保存进度。检查点保存会持续将模型权重和优化器状态写入持久化存储。
torch.save({"epoch": epoch, "model": model.state_dict()}, "ckpt.pt")从停止的位置继续
新的竞价实例启动后，加载最近的检查点并继续运行。恢复运行可以将被收回的机器造成的影响变成短暂暂停，而不是工作丢失。
ckpt = torch.load("ckpt.pt")
model.load_state_dict(ckpt["model"])将检查点存储在机器之外
请将检查点保存到 S3 等持久化存储中，绝不要保存到本地磁盘。当实例终止时，您的进度必须在实例之外得以保留。
注意终止通知
大多数云平台会在收回机器前发出短暂警告。请捕获该终止通知，并趁还有机会写入最终检查点。
分散使用多种实例类型
如果某种机器类型没有资源，您的任务就会停滞。请求多种类型和可用区，可以提高获取廉价容量的机会。
在稳定计算资源上持续提供服务
竞价实例适合训练，但不一定适合用户依赖的低延迟服务。请将推理放在按需或预留容量上，以确保可靠性。
让工具管理资源波动
SageMaker Managed Spot 或 Kubernetes 等托管服务可以为您自动恢复运行任务，减轻大部分中断带来的影响。
权衡节省与延迟
竞价实例以偶尔的延迟换取成本节省。对于截止时间至关重要的运行，支付更安全的按需价格可能是值得的。
快速检查
让我们确保竞价实例训练始终安全。
总结
您了解了竞价实例为何便宜，学会了频繁将检查点保存到持久化存储中、在中断后恢复运行，并在稳定的计算资源上持续提供服务。💰
用 AI 导师学习 Python — 免费
在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「使用竞价实例进行训练」课时是免费的吗？
是的 — 「使用竞价实例进行训练」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 MLOps Academy 课程的其余内容，请升级到 CoddyKit PRO。 MLOps Academy 课程共包含 4 节课。
「使用竞价实例进行训练」这节课中我会学到什么？
以极低成本运行可中断任务 你通过在浏览器中直接运行的动手代码来练习 MLOps Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 MLOps Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 MLOps Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 3 节课，共 4 节。
「使用竞价实例进行训练」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 MLOps Academy 课中编写并运行代码吗？
能。每节 MLOps Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 合理配置实例和副本数量
- 量化和蒸馏，降低推理成本
- 使用竞价实例进行训练
- 跟踪每次预测的成本