用于模型的 Pod、部署和服务
将机器学习服务映射到 Kubernetes 核心对象。
用于模型的 Pod、部署和服务 是 CoddyKit 上的免费 MLOps Academy 课时。 这是第 1 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 MLOps Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 MLOps Academy 课程共包含 4 节课。
Pod 是最小的单元
Kubernetes 从不直接运行单独的容器。它调度的最小对象是Pod,它是一个包装器,包含一个容器(您的模型服务器)以及共享网络。📦
每个 Pod 一个模型服务器
对于机器学习服务,通常会在每个Pod中放置一个模型 API 容器。这样可以更简单地按模型管理扩缩容、重启和资源限制。
Pod 是可替换的
Pod可能随时因节点故障或升级而终止。您不应为某个 Pod 命名或手动维护它,而应让集群自动替您替换它。
Deployment 让 Pod 保持运行
Deployment是您实际创建的控制器。它声明所需的相同模型 Pod 数量,并会重新创建崩溃或消失的 Pod。
apiVersion: apps/v1
kind: Deployment
metadata:
name: model-api
spec:
replicas: 3副本为您提供扩展能力
将副本数设为 3 后,您的模型服务器会立即运行三个副本。增加这个数字,Kubernetes 就会启动更多副本来分担负载。
Pod 模板
在 Deployment 中,模板是每个 Pod 的蓝图:要拉取哪个镜像、模型 API 监听哪个端口,以及需要哪些资源。
滚动更新内置其中
发布新的模型镜像后,Deployment 会执行滚动更新,每次替换少量旧 Pod,使预测服务持续运行而不会停机。
Pod 的 IP 会不断变化
每个新 Pod 都会获得一个新的内部 IP。客户端无法追踪不断变化的目标,因此您需要一个不会变化的稳定入口。🔀
Service 就是这个入口
Service为您的模型 Pod 提供一个稳定的名称和虚拟 IP,然后将请求负载均衡到当前处于健康状态的副本。
apiVersion: v1
kind: Service
metadata:
name: model-api
spec:
selector:
app: model-api
ports:
- port: 80通过标签连接各部分
Service 通过匹配标签来查找 Pod,而不是通过 IP。选择器 app=model-api 会将 Service 连接到所有带有相同标签的 Pod。
ClusterIP 与 LoadBalancer
ClusterIP Service 只能在集群内部访问,适合内部调用。当外部用户需要访问模型时,请使用 LoadBalancer 或 Ingress。
快速检查
您应该创建哪种对象来运行模型 Pod 并自动修复故障?
回顾
Pod 运行您的模型,Deployment确保正确数量的 Pod 保持运行,而 Service 为客户端提供一个稳定地址。这三者构成了在 Kubernetes 上提供服务的核心。✅
用 AI 导师学习 Python — 免费
在浏览器中编写并运行真实代码,获得全天候 AI 导师的即时帮助,并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「用于模型的 Pod、部署和服务」课时是免费的吗?
是的 — 「用于模型的 Pod、部署和服务」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 MLOps Academy 课程的其余内容,请升级到 CoddyKit PRO。 MLOps Academy 课程共包含 4 节课。
「用于模型的 Pod、部署和服务」这节课中我会学到什么?
将机器学习服务映射到 Kubernetes 核心对象。 你通过在浏览器中直接运行的动手代码来练习 MLOps Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 MLOps Academy 需要有经验吗?
无需任何先前经验。CoddyKit 上的 MLOps Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 1 节课,共 4 节。
「用于模型的 Pod、部署和服务」课时需要多长时间?
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。
我能在这节 MLOps Academy 课中编写并运行代码吗?
能。每节 MLOps Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。