数据处理流水线：Go WaitGroup的高并发实践

在Go语言中，可以使用WaitGroup来实现高并发的数据处理流水线。

WaitGroup是一个计数信号量，用于等待一组并发操作完成。通过Add方法可以增加计数器的值，Done方法可以减少计数器的值，Wait方法可以阻塞直到计数器变为0。

下面是一个使用WaitGroup的高并发数据处理流水线的示例：

package main
import (
"fmt"
"sync"
)
func main() {
var wg sync.WaitGroup
numWorkers := 10
dataChan := make(chan int, 100)
// 第一阶段，生成数据
wg.Add(1)
go func() {
defer wg.Done()
for i := 0; i < 100; i++ {
dataChan <- i
}
close(dataChan)
}()
// 第二阶段，处理数据
for i := 0; i < numWorkers; i++ {
wg.Add(1)
go func() {
defer wg.Done()
for data := range dataChan {
result := processData(data)
fmt.Println(result)
}
}()
}
wg.Wait()
}
func processData(data int) int {
// 此处模拟数据处理过程
return data * 2
}

在这个示例中，首先创建了一个WaitGroup对象wg和一个缓冲通道dataChan，用于数据在各个阶段之间的传递。

然后，在第一阶段中，启动一个goroutine来生成数据，并向dataChan通道中发送数据。发送完数据后，通过调用close(dataChan)来关闭通道。

在第二阶段中，通过循环启动多个goroutine来处理数据。每个goroutine从dataChan中接收数据，然后调用processData函数来处理数据，并打印处理结果。

最后，通过调用wg.Wait()来等待所有goroutine完成。

这样，就可以实现一个高并发的数据处理流水线。在数据生成阶段和数据处理阶段之间使用通道进行数据传递，通过WaitGroup来等待所有goroutine完成。