go等待一组协程结束的操作方式

go提供了sync包和channel来解决协程同步和通讯。

方式1:

sync.WaitGroup是等待一组协程结束,sync.WaitGroup只有3个方法,Add()添加一个计数,Done()减去一个计数,Wait()阻塞直到所有任务完成。

package main
import (
	"fmt"
	"sync"
	"time"
)
var wg sync.WaitGroup //定义一个同步等待的组
func task(i int){
	fmt.Println("task...",i)
	//耗时操作任务,网络请求,读取文件
	time.Sleep(time.Second)
	wg.Done() //减去一个计数
}
func main(){
	for i:= 0;i<10;i++{
		wg.Add(1) //添加一个计数
		go task(i)
	}
	wg.Wait() //阻塞直到所有任务完成
	fmt.Println("over")
}

运行结果:

task... 9

task... 4

task... 6

task... 0

task... 7

task... 5

task... 1

task... 2

task... 8

task... 3

over

方式2:

利用缓冲信道channel协程之间通讯,其阻塞等待功能实现等待一组协程结束,不能保证其goroutine按照顺序执行

package main
import (
 "fmt"
)
var ch = make(chan int,10)
func task(i int){
 fmt.Println("task...",i)
 ch <- i
}
func main(){
 for i:= 0;i<10;i++{
  go task(i)
 }
 for i:= 0;i<10;i++{
  <- ch
 }
 fmt.Println("over")
}

运行结果:

task... 9

task... 0

task... 1

task... 2

task... 6

task... 7

task... 3

task... 4

task... 8

task... 5

over

方式3:

利用无缓冲的信道channel协程之间通讯,其阻塞等待功能实现等待一组协程结束,保证了其goroutine按照顺序执行

package main
import (
 "fmt"
 "time"
)
var ch = make(chan int)
func task(i int){
 fmt.Println("task...",i)
 time.Sleep(time.Second)
  <- ch
}
func main(){
 for i:= 0;i<10;i++{
  go task(i)
  ch <- i
 }
 fmt.Println("over")
}

运行结果:

task... 0

task... 1

task... 2

task... 3

task... 4

task... 5

task... 6

task... 7

task... 8

task... 9

over

补充:Go中使用Channel等待所有协程结束

让main方法等待所有协程执行完毕再退出。可能一般思路是设置一个共有变量,然后通过修改这个变量的状态。这是通过共享变量来通信的方式,而go要做的是,通过通信来共享内存。

1. 按顺序执行

每次通信进行成对通信,当main向协程发送一个写channel时,同时也等待协程返回一个读channel。

这两个channel一定是成对的,所以构造一个结构体

type worker struct {
    in chan int
    done chan bool
}

func chanDemo1(){
    var workers [10]worker
    for i := 0; i < 10; i++ {
        workers[i] = createWorker1(i)
    }

    for i := 0; i < 10; i++ {
        workers[i].in <- 'a' + i
        <- workers[i].done
    }

    for i := 0; i < 10; i++ {
        workers[i].in <- 'A' + i
        <- workers[i].done
    }
}

func createWorker1(id int) worker {
    work := worker{
        in: make(chan int),
        done: make(chan bool),
    }
    go func() {
        for {
            fmt.Printf("Work %d receiverd %c\n", id, <- work.in)
            work.done <- true
        }
    }()
    return  work
} 

func main(){
    chanDemo1()
    fmt.Println("over")
}

这个执行结果完全是按照0-9,先小写再大写的顺序

如果这样顺序执行,还要协程干啥

2. 批量处理

type worker struct {
    in chan int
    done chan bool
}

func chanDemo1(){
    var workers [10]worker
    for i := 0; i < 10; i++ {
        workers[i] = createWorker1(i)
    }
    for i := 0; i < 10; i++ {
        workers[i].in <- 'a' + i
    }
    for _, worker  := range workers {
        <- worker.done
    }
    for i := 0; i < 10; i++ {
        workers[i].in <- 'A' + i
    }
    for _, worker  := range workers {
        <- worker.done
    }
}

func createWorker1(id int) worker {
    work := worker{
        in: make(chan int),
        done: make(chan bool),
    }
    go func() {
        for {
            fmt.Printf("Work %d receiverd %c\n", id, <- work.in)
            work.done <- true
        }
    }()
    return  work
}

这样的话,先打印小写,再打印大写,但是大小写时顺序不固定

3. 完全随机

func chanDemo1(){
    var workers [10]worker
    for i := 0; i < 10; i++ {
        workers[i] = createWorker1(i)
    }
    for i := 0; i < 10; i++ {
        workers[i].in <- 'a' + i
    }

    for i := 0; i < 10; i++ {
        workers[i].in <- 'A' + i
    }
    for _, worker  := range workers {
        <- worker.done
        <- worker.done
    }
}

func createWorker1(id int) worker {
    work := worker{
        in: make(chan int),
        done: make(chan bool),
    }
    go func() {
        for {
            fmt.Printf("Work %d receiverd %c\n", id, <- work.in)

            // 再开一个协程
            go func() { work.done <- true}()
        }
    }()
    return  work
}

这种方式就是完全随机了

使用channel进行树的遍历

func (node *Node) TraverseFunc(f func(*Node)){
    if node == nil{
        return
    }
    node.Left.TraverseFunc(f)
    f(node)
    node.Right.TraverseFunc(f)
}

func (node *Node) TraverseWithChannel() chan *Node{
    out := make(chan *Node)
    go func() {
        node.TraverseFunc(func(node *Node) {
            out <- node
        })
        close(out)
    }()
    return out
}

func main(){
    var root Node
    root = Node{Value:3}
    root.Left = &Node{}
    root.Right = &Node{5,nil,nil}
    root.Right.Left = new(Node)
    root.Left.Right =&Node{6,nil,nil}
    root.Traverse()

    c:=root.TraverseWithChannel()
    maxNode := 0
    for node := range c{
        if node.Value > maxNode{
            maxNode = node.Value
        }
    }
    fmt.Println("max node value:", maxNode)
 

以上为个人经验,希望能给大家一个参考,也希望大家多多支持我们。如有错误或未考虑完全的地方,望不吝赐教。

时间: 2021-05-03

Go递归修改文件名的实例代码

在生活中我们往往有这样的需求,就是从网上找的文件资源经常包含了一些无用信息,而且在它的子目录下也同样存在,如果我们手动一个个的修改的话会特别麻烦,也特别耗时,我们可以考虑把这件事交给计算机来做. 如下图,我的桌面有一个名为dir[我爱你]的目录,而且这个目录下的子目录和文件都包含[我爱你],这个[我爱你]对于我们来说是完全无用的,我们可以用Go的文件操作库来递归对文件进行重命名,把不需要的名字替换为空 示例代码: package main import ( "bufio" "

golang协程池模拟实现群发邮件功能

比如批量群发邮件的功能 因为发送邮件是个比较耗时的操作, 如果是传统的一个个执行 , 总体耗时比较长 可以使用golang实现一个协程池 , 并行发送邮件 pool包下的pool.go文件 package pool import "log" //具体任务,可以传参可以自定义操作 type Task struct { Args interface{} Do func(interface{})error } //协程的个数 var Nums int //任务通道 var JobChanne

SpringBoot整合MongoDB实现文件上传下载删除

本文主要内容 MongoDB基础操作命令示例练习 MongoDB居于GridFSTemplate的文件上传.下载.删除等操作(工作重点使用) 1. 基础命令 创建的数据库名称:horse,创建的集合名称:blog # 创建数据库 use horse # 删除当前数据库[horse] db.dropDatebase() # 查看所有数据库 show dbs # 设置用户的角色和权限 db.createUser({user:"horse",pwd:"mongo123",

go build 通过文件名后缀实现不同平台的条件编译操作

go build 可以通过标签或者文件名的后缀来提供条件编译,这里说下通过文件名的后缀来提供条件编译 文件命名约定可以在go build 包里找到详细的说明,简单来说,就是源文件包含后缀:_$GOOS.go,那么这个源文件只会在这个平台下编译,_$GOARCH.go也是如此. 这两个后缀可以结合在一起使用,但是要注意顺序:_$GOOS_$GOARCH.go,不能反过来用:_$GOARCH_$GOOS.go 例如下面截图,这些文件定义了对应不同平台下是否需要编译. 补充:Golang: 条件和循环

Go 如何批量修改文件名

工作中遇到了批量修改文件名的情况,为此写了个小程序,以供日后方便查看. 用法: renamedirfiles.exe -d "E:\shared\图片素材\ps123_20121120_01\背景图片打包下载" -p "bg%d" 代码如下: package main import ( "flag" "fmt" "os" "path/filepath" ) func main() { /

Go并发:使用sync.WaitGroup实现协程同步方式

经常看到有人会问如何等待主协程中创建的协程执行完毕之后再结束主协程,例如如下代码: package main import ( "fmt" ) func main() { go func() { fmt.Println("Goroutine 1") }() go func() { fmt.Println("Goroutine 2") }() } 执行以上代码很可能看不到输出,因为有可能这两个协程还没得到执行主协程已经结束了,而主协程结束时会结束所

Go 并发实现协程同步的多种解决方法

go 简洁的并发 多核处理器越来越普及.有没有一种简单的办法,能够让我们写的软件释放多核的威力?是有的.随着Golang, Erlang, Scala等为并发设计的程序语言的兴起,新的并发模式逐渐清晰.正如过程式编程和面向对象一样,一个好的编程模式有一个极其简洁的内核,还有在此之上丰富的外延.可以解决现实世界中各种各样的问题.本文以GO语言为例,解释其中内核.外延. 前言 Java 中有一系列的线程同步的方法,go 里面有 goroutine(协程),先看下下面的代码执行的结果是什么呢? pac

python 单线程和异步协程工作方式解析

在python3.4之后新增了asyncio模块,可以帮我们检测IO(只能是网络IO[HTTP连接就是网络IO操作]),实现应用程序级别的切换(异步IO).注意:asyncio只能发tcp级别的请求,不能发http协议. 异步IO:所谓「异步 IO」,就是你发起一个 网络IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到通知. 实现方式:单线程+协程实现异步IO操作. 异步协程用法 接下来让我们来了解下协程的实现,从 Python 3.4 开始,Python 中加入了协程的概

golang协程池设计详解

Why Pool go自从出生就身带"高并发"的标签,其并发编程就是由groutine实现的,因其消耗资源低,性能高效,开发成本低的特性而被广泛应用到各种场景,例如服务端开发中使用的HTTP服务,在golang net/http包中,每一个被监听到的tcp链接都是由一个groutine去完成处理其上下文的,由此使得其拥有极其优秀的并发量吞吐量 for { // 监听tcp rw, e := l.Accept() if e != nil { ....... } tempDelay = 0

详解php协程知识点

多任务 (并行和并发) 在讲协程之前,先谈谈多进程.多线程.并行和并发. 对于单核处理器,多进程实现多任务的原理是让操作系统给一个任务每次分配一定的 CPU 时间片,然后中断.让下一个任务执行一定的时间片接着再中断并继续执行下一个,如此反复. 由于切换执行任务的速度非常快,给外部用户的感受就是多个任务的执行是同时进行的. 多进程的调度是由操作系统来实现的,进程自身不能控制自己何时被调度,也就是说: 进程的调度是由外层调度器抢占式实现的 而协程要求当前正在运行的任务自动把控制权回传给调度器,这样就

详解python之协程gevent模块

Gevent官网文档地址:http://www.gevent.org/contents.html 进程.线程.协程区分 我们通常所说的协程Coroutine其实是corporate routine的缩写,直接翻译为协同的例程,一般我们都简称为协程. 在linux系统中,线程就是轻量级的进程,而我们通常也把协程称为轻量级的线程即微线程. 进程和协程 下面对比一下进程和协程的相同点和不同点: 相同点: 相同点存在于,当我们挂起一个执行流的时,我们要保存的东西: 栈, 其实在你切换前你的局部变量,以及

详细介绍 进程、线程和协程的区别

详解 进程.线程和协程的区别 首先,给出"进程.线程和协程"的特点: 进程:拥有自己独立的堆和栈,既不共享堆,也不共享栈,进程由操作系统调度: 线程:拥有自己独立的栈和共享的堆,共享堆,不共享栈,标准线程由操作系统调度: 协程:拥有自己独立的栈和共享的堆,共享堆,不共享栈,协程由程序员在协程的代码里显示调度. 接下来,以一个形象的例子,进一步讲述"进程.线程和协程"三者之间的区别: 假设有一个单核的操作系统,系统上没有其它的程序需要运行,现有两个线程 A 和 B,A

python已协程方式处理任务实现过程

这篇文章主要介绍了python已协程方式处理任务实现过程,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 #从genent中导入monky模块① from gevent import monkey #把程序变成协程的方式运行② monkey.patch_all() import gevent,requests,time #导入requests和time start = time.time() #记录程序开始时间 url_list = ['http

详解Go多协程并发环境下的错误处理

引言 在Go语言中,我们通常会用到panic和recover来抛出错误和捕获错误,这一对操作在单协程环境下我们正常用就好了,并不会踩到什么坑.但是在多协程并发环境下,我们常常会碰到以下两个问题.假设我们现在有2个协程,我们叫它们协程A和B好了: 如果协程A发生了panic,协程B是否会因为协程A的panic而挂掉? 如果协程A发生了panic,协程B是否能用recover捕获到协程A的panic? 答案分别是:会.不能. 那么下面我们来一一验证,并给出在具体的业务场景下的最佳实践. 问题一 如果

python并发编程之多进程、多线程、异步和协程详解

最近学习python并发,于是对多进程.多线程.异步和协程做了个总结. 一.多线程 多线程就是允许一个进程内存在多个控制权,以便让多个函数同时处于激活状态,从而让多个函数的操作同时运行.即使是单CPU的计算机,也可以通过不停地在不同线程的指令间切换,从而造成多线程同时运行的效果. 多线程相当于一个并发(concunrrency)系统.并发系统一般同时执行多个任务.如果多个任务可以共享资源,特别是同时写入某个变量的时候,就需要解决同步的问题,比如多线程火车售票系统:两个指令,一个指令检查票是否卖完

Python并发编程协程(Coroutine)之Gevent详解

Gevent官网文档地址:http://www.gevent.org/contents.html 基本概念 我们通常所说的协程Coroutine其实是corporateroutine的缩写,直接翻译为协同的例程,一般我们都简称为协程. 在linux系统中,线程就是轻量级的进程,而我们通常也把协程称为轻量级的线程即微线程. 进程和协程 下面对比一下进程和协程的相同点和不同点: 相同点: 我们都可以把他们看做是一种执行流,执行流可以挂起,并且后面可以在你挂起的地方恢复执行,这实际上都可以看做是con