合理配置实例和副本数量
使硬件匹配实际负载特征
合理配置实例和副本数量 是 CoddyKit 上的免费 MLOps Academy 课时。 这是第 1 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 MLOps Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 MLOps Academy 课程共包含 4 节课。
为实际用量付费
大多数机器学习服务费用来自处于半空闲状态的实例。合理调整规模意味着根据实际负载，而不是最坏情况的担忧来匹配硬件和副本数量。
先测量，再削减
没有测量过的资源就无法合理调整规模。首先观察正常流量日中真实的CPU 和内存利用率。
过度配置陷阱
为了以防万一而选择巨型实例看似安全，却会每小时持续消耗资金。长期利用率过低是过度配置最明显的信号。
读取利用率
如果 CPU 平均利用率接近 15%，说明您的实例太大了。请设定健康的目标利用率，并为短时峰值预留余量。
kubectl top pods -n serving垂直扩展与水平扩展
垂直扩展为一个副本提供更大的机器。水平扩展则增加更多较小的副本，通常更适合处理突发流量。
设置请求量和限制
在 Kubernetes 中，您的资源请求量会告诉调度器每个副本实际需要多少资源。请根据观测到的用量设置，而不要凭整数进行猜测。
resources:
requests:
cpu: "500m"
memory: "1Gi"选择合适的副本数量
副本太少会导致请求排队和响应缓慢。副本太多则会产生您仍需付费的空闲 Pod。请根据峰值并发负载确定副本规模。
让自动扩缩容跟踪需求
水平 Pod 自动扩缩容器会在负载上升时增加副本，在负载下降时移除副本，从而避免为非高峰时段的容量付费。
kubectl autoscale deploy model --min 2 --max 10 --cpu-percent 60保留安全下限
最低副本数量可以让少量 Pod 保持预热，使流量不会遇到冷启动的空服务。这是在成本与可用性之间的权衡。
GPU 机器价格昂贵
GPU 实例的成本比 CPU 高出许多倍。只有在模型确实需要时才请求GPU，并尽量集中安排任务，避免 GPU 空闲。
合理调整规模是持续工作
流量模式会在数周和数月内逐渐变化。按计划重新检查实例类型和副本数量，使您的资源集群始终保持良好的匹配度。
快速检查
让我们看看低利用率正在告诉您什么。
总结
您测量了利用率，在垂直扩展和水平扩展之间进行了选择，设置了请求量，并加入了自动扩缩容。现在，您的资源集群已符合实际需求。💸
用 AI 导师学习 Python — 免费
在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「合理配置实例和副本数量」课时是免费的吗？
是的 — 「合理配置实例和副本数量」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 MLOps Academy 课程的其余内容，请升级到 CoddyKit PRO。 MLOps Academy 课程共包含 4 节课。
「合理配置实例和副本数量」这节课中我会学到什么？
使硬件匹配实际负载特征 你通过在浏览器中直接运行的动手代码来练习 MLOps Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 MLOps Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 MLOps Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 1 节课，共 4 节。
「合理配置实例和副本数量」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 MLOps Academy 课中编写并运行代码吗？
能。每节 MLOps Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 合理配置实例和副本数量
- 量化和蒸馏，降低推理成本
- 使用竞价实例进行训练
- 跟踪每次预测的成本