python并发_协程

# 进程 启动多个进程 进程之间是由操作系统负责调用
# 线程 启动多个线程 真正被CPU执行的最小单位实际是线程
# 开启一个线程 创建一个线程 寄存器 堆栈
# 关闭一个线程# 协程
# 本质上是一个线程
# 能够在多个任务之间切换来节省一些IO时间
# 协程中任务之间的切换也消耗时间,但是开销要远远小于进程线程之间的切换
# 实现并发的手段import time
def consumer():
while True:
x = yield
time.sleep(1)
print('处理数据 :',x)def producer():
c = consumer()
next(c)
for i in range(10):
time.sleep(1)
print('生产数据:',i)
c.send(i)# 这个生产者消费者模型 模拟了程序的来回切换， 但是不能规避IO时间
producer()

# 真正的协程模块就是使用greenlet完成的切换
from greenlet import greenletdef eat():
print('eating start')
g2.switch() # 切换到g2
print('eating end')
g2.switch()def play():
print('playing start')
g1.switch() # 切换到g1
print('playing end')g1 = greenlet(eat) # 委托给g1
g2 = greenlet(play)
g1.switch()

# 协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。
import time
import geventdef eat():
print('eating start')
# time.sleep(1) # gevent 不能感知到time.sleep时间
gevent.sleep(1)
print('eating end')def play():
print('playing start')
gevent.sleep(1)
print('playing end')g1 = gevent.spawn(eat)
g2 = gevent.spawn(play)
g1.join()
g2.join()

## 导入这句，将所有模块中的阻塞IO都打成一个包。就可以感知 time.sleep
from gevent import monkey;monkey.patch_all()
import time
import gevent
import threadingdef eat():
print(threading.current_thread().getName()) # Dummy 假的，虚拟的。
print(threading.current_thread())
print('eating start')
time.sleep(1.2)
print('eating end')def play():
print(threading.current_thread().getName())
print(threading.current_thread())
print('playing start')
time.sleep(1)
print('playing end')g1 = gevent.spawn(eat) # 注册到协程，遇到IO将自动切换
g2 = gevent.spawn(play)
# g1.join()
# g2.join()
gevent.joinall([g1,g2])
print('master')
# 进程和线程的任务切换由操作系统完成
# 协程任务之间的切换由程序(代码)完成,只有遇到协程模块能识别的IO操作的时候,程序才会进行任务切换,实现并发的效果

# 同步 和 异步
from gevent import monkey;monkey.patch_all()
import time
import geventdef task(n):
time.sleep(1)
print(n)def sync():
for i in range(5):
task(i)def async():
g_lst = []
for i in range(5):
g = gevent.spawn(task,i)
g_lst.append(g)
gevent.joinall(g_lst) # for g in g_lst:g.join()sync() # 同步
async() # 异步

# 协程 : 能够在一个线程中实现并发效果的概念
# 能够规避一些任务中的IO操作
# 在任务的执行过程中,检测到IO就切换到其他任务# 多线程 被弱化了
# 协程 在一个线程上 提高CPU 的利用率
# 协程相比于多线程的优势 切换的效率更快# 爬虫的例子
# 请求过程中的IO等待
from gevent import monkey;monkey.patch_all()
import gevent
from urllib.request import urlopen # 内置的模块def get_url(url):
response = urlopen(url)
content = response.read().decode('utf-8')
return len(content)g1 = gevent.spawn(get_url,'http://www.baidu.com')
g2 = gevent.spawn(get_url,'http://www.sogou.com')
g3 = gevent.spawn(get_url,'http://www.taobao.com')
g4 = gevent.spawn(get_url,'http://www.hao123.com')
g5 = gevent.spawn(get_url,'http://www.cnblogs.com')
gevent.joinall([g1,g2,g3,g4,g5])
print(g1.value)
print(g2.value)
print(g3.value)
print(g4.value)
print(g5.value)ret = get_url('http://www.baidu.com')
print(ret)