工作池模式
构建固定大小的 Goroutine 工作池
工作池模式 是 CoddyKit 上的免费 Go Academy 课时。 这是第 4 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 Go Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 Go Academy 课程共包含 4 节课。
什么是工作池
工作池会预先创建固定数量的协程,让它们从共享队列中处理任务。这样可以限制并发量,避免无限创建协程导致资源耗尽。
基本实现
创建一个任务通道和 N 个协程,让它们都从该通道读取数据:
func workerPool(n int, jobs <-chan Job, results chan<- Result) {
var wg sync.WaitGroup
for i := 0; i < n; i++ {
wg.Add(1)
go func() {
defer wg.Done()
for job := range jobs {
results <- process(job)
}
}()
}
wg.Wait()
close(results)
}发送任务
将所有任务发送到通道,然后关闭通道。工作协程会处理完所有任务,并在通道关闭后退出遍历循环。
jobs := make(chan Job, 100)
for _, j := range allJobs {
jobs <- j
}
close(jobs) // signals workers to stop after draining收集结果
在发送任务的同时并发读取结果。请为工作池使用一个协程,以免结果收集与任务提交相互死锁。
results := make(chan Result, 100)
go workerPool(5, jobs, results)
for r := range results {
collect(r)
}调整工作池大小
对于 CPU 密集型工作,请将工作池大小设置为 runtime.NumCPU()。对于输入/输出密集型工作,使用更高的倍数(例如 10×)可以更充分地利用等待时间。请通过性能分析找出最佳值。
n := runtime.NumCPU()
if ioHeavy { n = runtime.NumCPU() * 10 }添加上下文取消
向工作协程传递上下文,使它们能够在取消时提前停止:
for {
select {
case job, ok := <-jobs:
if !ok { return }
results <- process(ctx, job)
case <-ctx.Done():
return
}
}信号量替代方案
不使用固定的协程池,也可以使用带缓冲的通道作为信号量,限制同时运行的协程数量,同时仍然为每个任务启动一个协程。
sem := make(chan struct{}, 10)
for _, job := range jobs {
sem <- struct{}{}
go func(j Job) {
defer func() { <-sem }()
process(j)
}(job)
}错误处理
使用结果结构体将错误与结果一起返回。发生第一个错误时取消上下文,或者收集所有错误并生成最终报告。
type Result struct{ Val int; Err error }动态调整工作池大小
对于自适应工作池,请使用 golang.org/x/sync/semaphore,它允许获取和释放加权资源,从而支持动态并发限制。
工作池与 errgroup
golang.org/x/sync/errgroup 提供了更简单的 API,可用于启动 N 个协程并收集第一个错误。当您需要一组持久且可复用的工作协程时,请使用工作池。
正常关闭
关闭任务通道以通知工作协程。WaitGroup 完成后,关闭结果通道。所有待处理的任务提交都必须在 close(jobs) 之前完成。
快速检查
工作池如何通知工作协程停止处理?
回顾:工作池
要点:
- 固定数量的 N 个协程从一个任务通道读取数据
- 关闭任务通道,通知工作协程完成处理
- WaitGroup 跟踪完成状态;完成后关闭结果通道
- CPU 密集型:工作池大小约为 NumCPU;输入/输出密集型:设置得更大
常见问题解答
「工作池模式」课时是免费的吗?
是的 — 「工作池模式」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 Go Academy 课程的其余内容,请升级到 CoddyKit PRO。 Go Academy 课程共包含 4 节课。
「工作池模式」这节课中我会学到什么?
构建固定大小的 Goroutine 工作池 你通过在浏览器中直接运行的动手代码来练习 Go Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 Go Academy 需要有经验吗?
无需任何先前经验。CoddyKit 上的 Go Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 4 节课,共 4 节。
「工作池模式」课时需要多长时间?
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。
我能在这节 Go Academy 课中编写并运行代码吗?
能。每节 Go Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。