仿站小工具官网,贵州省城乡和住房建设厅官方网站,保险咨询免费,电子商务公司名称大全集最新https://www.cnblogs.com/tkqasn/p/5705338.html
何为协程
协程#xff0c;又称微线程。英文名Coroutine。
协程最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换#xff0c;而是由程序自身控制#xff0c;因此#xff0c;没有线程切换的开销#xff0c;…https://www.cnblogs.com/tkqasn/p/5705338.html
何为协程
协程又称微线程。英文名Coroutine。
协程最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换而是由程序自身控制因此没有线程切换的开销和多线程比线程数量越多协程的性能优势就越明显。
第二大优势就是不需要多线程的锁机制因为只有一个线程也不存在同时写变量冲突在协程中控制共享资源不加锁只需要判断状态就好了所以执行效率比多线程高很多。
因为协程是一个线程执行那怎么利用多核CPU呢最简单的方法是多进程协程既充分利用多核又充分发挥协程的高效率可获得极高的性能。后续会就这一块单独开写一篇协程多进程的测试文章。
Python对协程的支持还非常有限用在generator中的yield可以一定程度上实现协程。虽然支持不完全但已经可以发挥相当大的威力了。
使用生成器的例子
传统的生产者-消费者模型是一个线程写消息一个线程取消息通过锁机制控制队列和等待但一不小心就可能死锁。
如果改用协程生产者生产消息后直接通过yield跳转到消费者开始执行待消费者执行完毕后切换回生产者继续生产效率极高
import timedef consumer():r while True:n yield rif not n:returnprint([CONSUMER] Consuming %s... % n)time.sleep(1)r 200 OKdef produce(c):c.next()n 0while n 5:n n 1print([PRODUCER] Producing %s... % n)r c.send(n)print([PRODUCER] Consumer return: %s % r)c.close()if __name____main__:c consumer()produce(c)运行结果
[PRODUCER] Producing 1...
[CONSUMER] Consuming 1...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 2...
[CONSUMER] Consuming 2...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 3...
[CONSUMER] Consuming 3...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 4...
[CONSUMER] Consuming 4...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 5...
[CONSUMER] Consuming 5...
[PRODUCER] Consumer return: 200 OK注意到consumer函数是一个generator生成器把一个consumer传入produce后 首先调用c.next()启动生成器 然后一旦生产了东西通过c.send(n)切换到consumer执行 consumer通过yield拿到消息处理又通过yield把结果传回 produce拿到consumer处理的结果继续生产下一条消息 produce决定不生产了通过c.close()关闭consumer整个过程结束。
整个流程无锁由一个线程执行produce和consumer协作完成任务所以称为“协程”而非线程的抢占式多任务。
使用gevent模块
Python通过yield提供了对协程的基本支持但是不完全。而第三方的gevent为Python提供了比较完善的协程支持。
gevent是第三方库通过greenlet实现协程其基本思想是
当一个greenlet遇到IO操作时比如访问网络就自动切换到其他的greenlet等到IO操作完成再在适当的时候切换回来继续执行。由于IO操作非常耗时经常使程序处于等待状态有了gevent为我们自动切换协程就保证总有greenlet在运行而不是等待IO。
由于切换是在IO操作时自动完成所以gevent需要修改Python自带的一些标准库这一过程在启动时通过monkey patch完成
import geventdef f(n):for i in range(n):print gevent.getcurrent(), ig1 gevent.spawn(f, 5)
g2 gevent.spawn(f, 5)
g3 gevent.spawn(f, 5)
g1.join()
g2.join()
g3.join()Greenlet at 0x10e49f550: f(5) 0
Greenlet at 0x10e49f550: f(5) 1
Greenlet at 0x10e49f550: f(5) 2
Greenlet at 0x10e49f550: f(5) 3
Greenlet at 0x10e49f550: f(5) 4
Greenlet at 0x10e49f910: f(5) 0
Greenlet at 0x10e49f910: f(5) 1
Greenlet at 0x10e49f910: f(5) 2
Greenlet at 0x10e49f910: f(5) 3
Greenlet at 0x10e49f910: f(5) 4
Greenlet at 0x10e49f4b0: f(5) 0
Greenlet at 0x10e49f4b0: f(5) 1
Greenlet at 0x10e49f4b0: f(5) 2
Greenlet at 0x10e49f4b0: f(5) 3
Greenlet at 0x10e49f4b0: f(5) 4可以看到3个greenlet是依次运行而不是交替运行。
要让greenlet交替运行可以通过gevent.sleep()交出控制权
import gevent
import randomdef f(n):for i in range(n):print gevent.getcurrent(), igevent.sleep(random.randint(0,4))g1 gevent.spawn(f, 3)
g2 gevent.spawn(f, 3)
g3 gevent.spawn(f, 3)
g1.join()
g2.join()
g3.join() 运行结果
Greenlet at 0x2682c48L: func(3) 0
Greenlet at 0x2682e48L: func(3) 0
Greenlet at 0x29d9548L: func(3) 0
Greenlet at 0x2682c48L: func(3) 1
Greenlet at 0x29d9548L: func(3) 1
Greenlet at 0x29d9548L: func(3) 2
Greenlet at 0x2682c48L: func(3) 2
Greenlet at 0x2682e48L: func(3) 1
Greenlet at 0x2682e48L: func(3) 23个greenlet交替运行
把循环次数改为500000让它们的运行时间长一点然后在操作系统的进程管理器中看线程数只有1个。
当然实际代码里我们不会用gevent.sleep()去切换协程而是在执行到IO操作时gevent自动切换代码如下
from gevent import monkey; monkey.patch_all()#有IO才做时需要这一句
import gevent
import urllib2def f(url):print(GET: %s % url)resp urllib2.urlopen(url)data resp.read()print(%d bytes received from %s. % (len(data), url))gevent.joinall([gevent.spawn(f, https://www.python.org/),gevent.spawn(f, https://www.yahoo.com/),gevent.spawn(f, https://github.com/),
]) GET: https://www.python.org/
GET: https://www.yahoo.com/
GET: https://github.com/
45661 bytes received from https://www.python.org/.
14823 bytes received from https://github.com/.
304034 bytes received from https://www.yahoo.com/.从结果看3个网络操作是并发执行的而且结束顺序不同但只有一个线程。
小结
使用gevent可以获得极高的并发性能但gevent只能在Unix/Linux下运行在Windows下不保证正常安装和运行在windows下需要安装第三方编译好的包或者自行编译。
