网站做法,广州黄埔区建设局网站局,wordpress实现无限下拉加载,推广普通话的宣传标语1、协程 5个任务实现并发#xff0c;放到1个线程里边#xff1b;单线程是无法实现并行的#xff1b;并发是看起来任务是同时运行的就可以了#xff0c;其本质来回切换并保存状态。 单线程实现并发#xff0c;切换保存状态#xff0c;协程要做的事情。 cpu正在运行一个任… 1、协程 5个任务实现并发放到1个线程里边单线程是无法实现并行的并发是看起来任务是同时运行的就可以了其本质来回切换并保存状态。 单线程实现并发切换保存状态协程要做的事情。 cpu正在运行一个任务会在两种情况下切走去执行其他的任务切换由操作系统强制控制一种情况是该任务发生了阻塞另外一种情况是该任务计算的时间过长或有一个优先级更高的程序替代了它。 其中第二种情况并不能提升效率只是为了让cpu能够雨露均沾实现看起来所有任务都被“同时”执行的效果如果多个任务都是纯计算的这种切换反而会降低效率。为此我们可以基于yield来验证。yield本身就是一种在单线程下可以保存任务运行状态的方法 1 yiled可以保存状态yield的状态保存与操作系统的保存线程状态很像但是yield是代码级别控制的更轻量级
2 send可以把一个函数的结果传给另外一个函数以此实现单线程内程序之间的切换 第一种情况的切换。在任务一遇到io情况下切到任务二去执行这样就可以利用任务一阻塞的时间完成任务二的计算效率的提升就在于此。 yield并不能实现遇到io切换 ps在介绍进程理论时提及进程的三种执行状态而线程才是执行单位所以也可以将上图理解为线程的三种状态 对于单线程下我们不可避免程序中出现io操作但如果我们能在自己的程序中即用户程序级别而非操作系统级别控制单线程下的多个任务能在一个任务遇到io阻塞时就切换到另外一个任务去计算这样就保证了该线程能够最大限度地处于就绪态即随时都可以被cpu执行的状态相当于我们在用户程序级别将自己的io操作最大限度地隐藏起来从而可以迷惑操作系统让其看到该线程好像是一直在计算io比较少从而更多的将cpu的执行权限分配给我们的线程。 协程的本质就是在单线程下由用户自己控制一个任务遇到io阻塞了就切换另外一个任务去执行以此来提升效率。为了实现它我们需要找寻一种可以同时满足以下条件的解决方案 1. 可以控制多个任务之间的切换切换之前将任务的状态保存下来以便重新运行时可以基于暂停的位置继续执行。2. 作为1的补充可以检测io操作在遇到io操作的情况下才发生切换 协程是一种用户态的轻量级线程即协程是由用户程序自己控制调度的。 1. python的线程属于内核级别的即由操作系统控制调度如单线程遇到io或执行时间过长就会被迫交出cpu执行权限切换其他线程运行
2. 单线程内开启协程一旦遇到io就会从应用程序级别而非操作系统控制切换以此来提升效率非io操作的切换与效率无关 优点如下 1. 协程的切换开销更小属于程序级别的切换操作系统完全感知不到因而更加轻量级
2. 单线程内就可以实现并发的效果最大限度地利用cpu缺点如下 1. 协程的本质是单线程下无法利用多核可以是一个程序开启多个进程每个进程内开启多个线程每个线程内开启协程
2. 协程指的是单个线程因而一旦协程出现阻塞将会阻塞整个线程总结协程特点 必须在只有一个单线程里实现并发修改共享数据不需加锁用户程序里自己保存多个控制流的上下文栈附加一个协程遇到IO操作自动切换到其它协程如何实现检测IOyield、greenlet都无法实现就用到了gevent模块select机制 #并发执行
import time
def producer():gconsumer()next(g)for i in range(10000000):g.send(i)def consumer():while True:resyield
start_timetime.time()
producer()
stop_timetime.time()
print(stop_time-start_time) #计算的时间切换的时间 效率低#串行
import time
def producer():res[]for i in range(10000000):res.append(i)return resdef consumer(res):passstart_timetime.time()
resproducer()
consumer(res)
stop_timetime.time()
print(stop_time-start_time) #没有切换的时间了
打印
1.8201038837432861
1.897108793258667 2、greenlet模块 只是比yield好一点 如果我们在单个线程内有20个任务要想实现在多个任务之间切换使用yield生成器的方式过于麻烦需要先得到初始化一次的生成器然后再调用send。。。非常麻烦而使用greenlet模块可以非常简单地实现这20个任务直接的切换。 from greenlet import greenlet
import time
def eat(name):print(%s eat 1 %name)time.sleep(10)g2.switch(egon) #第一次启动print(%s eat 2 %name)g2.switch() #再切def play(name):print(%s play 1 %name )g1.switch() #再切回来print(%s play 2 %name )
g1greenlet(eat)
g2greenlet(play)g1.switch(egon) #第一次启动的时候传个参数打印
egon eat 1
egon play 1
egon eat 2
egon play 2 greenlet只是提供了一种比generator更加便捷的切换方式当切到一个任务执行时如果遇到io那就原地阻塞仍然是没有解决遇到IO自动切换来提升效率的问题。 单线程里的这20个任务的代码通常会既有计算操作又有阻塞操作我们完全可以在执行任务1时遇到阻塞就利用阻塞的时间去执行任务2。。。。如此才能提高效率这就用到了Gevent模块。 3、gevent模块 本质就是封装了greenlet模块它能检测I/O并且遇到I/O自动切换到另外一个任务执行可以帮我们提升效率 from gevent import monkey;monkey.patch_all() #把下面所有的涉及I/O操作的给你打了个标记被gevent识别
import gevent
import timedef eat(name):print(%s eat 1 % name)time.sleep(3) #遇到I/O立马切换到下面执行print(%s eat 2 % name)def play(name):print(%s play 1 % name)time.sleep(4)print(%s play 2 % name)start_timetime.time()
g1gevent.spawn(eat,egon) #异步提交的方式
g2gevent.spawn(play,alex)g1.join() #等待执行完
g2.join()
stop_timetime.time()
print(stop_time-start_time)打印
egon eat 1
alex play 1
egon eat 2
alex play 2
4.0012288093566895 gevent异步提交任务 from gevent import monkey;monkey.patch_all()
import gevent
import timedef eat(name):print(%s eat 1 % name)time.sleep(3)print(%s eat 2 % name)def play(name):print(%s play 1 % name)time.sleep(4)print(%s play 2 % name)g1gevent.spawn(eat,egon)
g2gevent.spawn(play,alex)# time.sleep(5)# g1.join()
# g2.join()gevent.joinall([g1,g2]) #相当于上边两行代码打印
egon eat 1
alex play 1
egon eat 2
alex play 2 基于gevent模块实现并发的套接字通信 单线程、多任务的I/O操作。 #基于gevent实现
from gevent import monkey,spawn;monkey.patch_all()
from socket import *def communicate(conn):while True:try:dataconn.recv(1024)if not data:breakconn.send(data.upper())except ConnectionResetError:breakconn.close()def server(ip,port):server socket(AF_INET, SOCK_STREAM)server.bind((ip,port))server.listen(5)while True:conn, addr server.accept()spawn(communicate,conn) #造一个协程对象提交完这个对象它不会执行server.close()if __name__ __main__:gspawn(server,127.0.0.1,8090)g.join() ##客户端from socket import *
from threading import Thread,currentThreaddef client():clientsocket(AF_INET,SOCK_STREAM)client.connect((127.0.0.1,8090))while True:client.send((%s hello %currentThread().getName()).encode(utf-8))dataclient.recv(1024)print(data.decode(utf-8))client.close()
if __name__ __main__:for i in range(500):tThread(targetclient)t.start() 转载于:https://www.cnblogs.com/shengyang17/p/8926214.html
