分析并调优推理延迟
使用 perf_analyzer 找到最佳平衡点
分析并调优推理延迟 是 CoddyKit 上的免费 MLOps Academy 课时。 这是第 4 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 MLOps Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 MLOps Academy 课程共包含 4 节课。
通过测量进行调整
无法调整未测量的指标。在更改设置之前，请在可信的负载下记录真实的延迟和吞吐量数据。📏
认识 perf_analyzer
Triton 自带 perf_analyzer，这是一个通过大量发送请求来测试模型，并报告延迟和吞吐量的工具，便于您比较不同配置。
运行基本测试
您只需让 perf_analyzer 指向一个模型，它就会发送模拟请求，然后输出每秒推理次数和延迟明细。
perf_analyzer -m my_model扫描并发量
最有用的标志会扫描并发量，也就是同时处于执行中的请求数量。它可以显示负载增加时吞吐量和延迟如何变化。
perf_analyzer -m my_model --concurrency-range 1:8读懂曲线
随着并发量增加，吞吐量会先上升后趋于平稳，而延迟仍会继续增长。这条曲线的拐点就是实际运行中的合理工作点。
使用百分位数
平均值会掩盖问题。请关注 p95 延迟，也就是 95% 的请求能够达到的延迟值，因为用户实际感受到的是尾部延迟。
调整队列延迟
如果延迟过高，请降低 max_queue_delay_microseconds。如果重负载下吞吐量过低，请提高它，以组成更完整的批次。
调整实例数量
如果 GPU 利用率不足，请增加一个实例。如果内存紧张或吞吐量停滞，请减少一个。一次只调整一个参数，然后重新测量。
一次只改一项
调整是一个循环过程，而不是一步到位。调整单个设置，重新运行 perf_analyzer，进行比较；只有当数据确实改善时，才保留这项更改。
设定延迟预算
请先确定您的预算，例如将 p95 延迟控制在 50 毫秒以内。然后在不超出该限制的前提下，尽可能提高批次大小和实例数量。
关注完整路径
服务器数据并不能说明全部情况。网络跳转和客户端代码都会增加耗时，因此还应从用户所在的位置测量端到端延迟。
快速检查
调整系统时，为什么应优先关注 p95 延迟，而不是平均延迟？
回顾
您使用 perf_analyzer 扫描并发量，在 p95 指标下读取吞吐量与延迟曲线，并在预算范围内逐项调整队列延迟和实例数量。🙌
用 AI 导师学习 Python — 免费
在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「分析并调优推理延迟」课时是免费的吗？
是的 — 「分析并调优推理延迟」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 MLOps Academy 课程的其余内容，请升级到 CoddyKit PRO。 MLOps Academy 课程共包含 4 节课。
「分析并调优推理延迟」这节课中我会学到什么？
使用 perf_analyzer 找到最佳平衡点 你通过在浏览器中直接运行的动手代码来练习 MLOps Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 MLOps Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 MLOps Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 4 节课，共 4 节。
「分析并调优推理延迟」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 MLOps Academy 课中编写并运行代码吗？
能。每节 MLOps Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。