Python IO 多路复用 \协程

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

IO 多路复用

作用: 检测多个socket是否已经发生变化(是否已经连接成功/是否已经获取数据) 即(可读/可写)

IO请求时

解决并发 : 单线程

def get_data(key):
client = socket.socket()
# 与百度创建连接
client.connect(("www.baidu.com",80))
# 给百度发送数据, 告诉百度我要什么
client.sendall(b'GET /s?wd=alex HTTP/1.0\r\nhost:www.baidu.com\r\n\r\n') # 等百度给我返回我要的结果
chunk_list = []
while True:
"""
循环接收
"""
chunk = client.recv(8096)
if not chunk:
break
chunk_list.append(chunk)
boby = b"".join(chunk_list)
print(boby.decode("utf8"))
key_list = ["alex","db","sb"] # 要搜索的内容
for item in key_list:
get_data(item)

例子

解决并发: 多线程 , 但是需要等待 , CPU容易闲置 ,浪费资源

import threading
import socketdef get_data(key):
client = socket.socket()
# 与百度创建连接
client.connect(("www.baidu.com",80))
# 给百度发送数据, 告诉百度我要什么
client.sendall(b'GET /s?wd=alex HTTP/1.0\r\nhost:www.baidu.com\r\n\r\n') # 等百度给我返回我要的结果
chunk_list = []
while True:
"""
循环接收
"""
chunk = client.recv(8096)
if not chunk:
break
chunk_list.append(chunk)
boby = b"".join(chunk_list)
print(boby.decode("utf8"))key_list = ["alex","db","sb"] # 要搜索的内容
for item in key_list:
t = threading.Thread(target=get_data,args=(item,))
t.start()

例子

这时我们就可以用 IO多路复用 , 单线程不等待解决 ,

import socket
import selectclient1 = socket.socket()
client1.setblocking(False) # 与服务器创建连接时不阻塞
try:
client1.connect(("www.baidu.com",80))
except BlockingIOError as e:
passclient2 = socket.socket()
client2.setblocking(False) # 与服务器创建连接时不阻塞
try:
client2.connect(("www.sogou.com",80))
except BlockingIOError as e:
passclient3 = socket.socket()
client3.setblocking(False) # 与服务器创建连接时不阻塞
try:
client3.connect(("www.gugo.com",80))
except BlockingIOError as e:
passsocket_list = [client1,client2,client3]
conn_list = [client1,client2,client3]
while True:
rlist,wlist,elist = select.select(socket_list,conn_list,[],0.005)
for sk in wlist:
if sk == client1:
sk.sendall(b'GET /s?wd=alex HTTP/1.0\r\nhost:www.baidu.com\r\n\r\n')
elif sk == client2:
sk.sendall(b'GET /web?query=alex HTTP/1.0\r\nhost:www.baidu.com\r\n\r\n')
else:
sk.sendall(b'GET /s?wd=alex HTTP/1.0\r\nhost:www.baidu.com\r\n\r\n')
conn_list.remove(sk)
for sk in rlist:
chunk_list = []
while True:
try:
chunk = sk.recv(8096)
if not chunk:
break
chunk_list.append(chunk)
except BlockingIOError as e:
break
body = b"".join(chunk_list)
print("---------------->",body)
sk.close()
socket_list.remove(sk)
if not socket_list:
break

IO多路复用,低级本

import select
import socketclass Req(object):
def __init__(self,sk,func):
self.sock = sk
self.func = func
def fileno(self):
return self.sock.fileno()class Nb(object): def __init__(self):
self.conn_list = []
self.socket_list = []
def add(self,url,func):
client = socket.socket()
client.setblocking(False) # 与服务器创建连接时不阻塞
try:
client.connect((url, 80))
except BlockingIOError as e:
pass
obj = Req(client,func)
self.conn_list.append(obj)
self.socket_list.append(obj) def run(self):
while True:
rlist,wlist,elist = select.select(self.socket_list,self.conn_list,[],0.005)
# wlist 中表示已经连接成功的req对象
for sk in wlist:
# 发生变换的req对象
sk.sock.sendall(b'GET /s?wd=alex HTTP/1.0\r\nhost:www.baidu.com\r\n\r\n')
self.conn_list.remove(sk)
for sk in rlist:
chunk_list = []
while True:
try:
chunk = sk.sock.recv(8096)
if not chunk:
break
chunk_list.append(chunk)
except BlockingIOError as e:
break
body = b"".join(chunk_list)
sk.func(body)
sk.sock.close()
self.socket_list.remove(sk)
if not self.socket_list:
breakdef baidu_repsonse(body):
print('百度下载结果：',body)def sogou_repsonse(body):
print('搜狗下载结果：', body)def oldboyedu_repsonse(body):
print('老男孩下载结果：', body)t1 = Nb()
t1.add("www.baidu.com",baidu_repsonse)
t1.add('www.sogou.com',sogou_repsonse)
t1.add('www.oldboyedu.com',oldboyedu_repsonse)
t1.run()

IO多路复用,高级版

高级版主要是 twisted 模块的简单解释

已经实现的模块 Twisted

基于IO多路复用 + socket 实现并发请求

IO多路复用检测切换

socket 非阻塞

基于事件循环实现的一部非阻塞框架

非阻塞 : 不等待

异步 : 执行完某个任务后自动调用我给他的函数

Python 中开源 : 基于是事件循环实现的异步非阻塞框架 Twisted

当某件事完成, 自动执行某函数, 并且打码可以继续往下走 , 回调函数

总结 :

1 socket 默认是阻塞的 , 阻塞体现在连接 (conconnect), 等待接收数据( recv)

2 让socket 编程不阻塞用 setblocking(False) 可以使socket不阻塞

3 IO多路复用的作用?

检测多个socket是否发生变化

操作系统检测socket是否发生变化,有三种模式:

select: 最多监听1024个socket,循环去检测

poll : 不限制的监听socket个数 , 循环去检测(水平触发) 效率会下降

epoll 不限制的监听socket个数 , 回调方式(边缘触发)

但是 : Windows系统 , 只支持 select 模块 , Linux系统支持 epoll 模块

Python模块 : select.select() select.epoll()

提高并发方案 :

多进程

多线程

异步非阻塞模块(Twisted) scrapy 框架( 单线程完成并发)

5. 什么是异步非阻塞?
- 非阻塞，不等待。
比如创建socket对某个地址进行connect、获取接收数据recv时默认都会等待（连接成功或接收到数据），才执行后续操作。
如果设置setblocking(False),以上两个过程就不再等待，但是会报BlockingIOError的错误，只要捕获即可。
- 异步，通知，执行完成之后自动执行回调函数或自动执行某些操作（通知）。
比如做爬虫中向某个地址baidu.com发送请求，当请求执行完成之后自执行回调函数。

6. 什么是同步阻塞？
- 阻塞：等
- 同步：按照顺序逐步执行

key_list = ['alex','db','sb']
for item in key_list:
ret = requests.get('https://www.baidu.com/s?wd=%s' %item)
print(ret.text)

协程

协程：是单线程下的并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。、

需要强调的是：

#1. python的线程属于内核级别的，即由操作系统控制调度（如单线程遇到io或执行时间过长就会被迫交出cpu执行权限，切换其他线程运行）
#2. 单线程内开启协程，一旦遇到io，就会从应用程序级别（而非操作系统）控制切换，以此来提升效率（！！！非io操作的切换与效率无关）

对比操作系统控制线程的切换，用户在单线程内控制协程的切换

优点如下：

#1. 协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级
#2. 单线程内就可以实现并发的效果，最大限度地利用cpu

缺点如下：

#1. 协程的本质是单线程下，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启协程
#2. 协程指的是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程

总结协程特点：

必须在只有一个单线程里实现并发
修改共享数据不需加锁
用户程序里自己保存多个控制流的上下文栈
附加：一个协程遇到IO操作自动切换到其它协程（如何实现检测IO，yield、greenlet都无法实现，就用到了gevent模块（select机制）

协程加上IO切换示例

from gevent import monkey
monkey.patch_all()
import requests
import geventdef get_page1(url):
ret = requests.get(url)
print(url,ret.content)def get_page2(url):
ret = requests.get(url)
print(url,ret.content)def get_page3(url):
ret = requests.get(url)
print(url,ret.content)gevent.joinall([
gevent.spawn(get_page1, 'https://www.python.org/'), # 协程1
gevent.spawn(get_page2, 'https://www.yahoo.com/'), # 协程2
gevent.spawn(get_page3, 'https://github.com/'), # 协程3
])

示例

自己写一个IO切换示例

def f1():
print(11)
yield
print(22)
yield
print(33)def f2():
print(55)
yield
print(66)
yield
print(77)v1 = f1()
v2 = f2()next(v1) # v1.send(None)
next(v2) # v1.send(None)
next(v1) # v1.send(None)
next(v2) # v1.send(None)
next(v1) # v1.send(None)
next(v2) # v1.send(None)

示例

Greenlet模块

from greenlet import greenletdef eat(name):
print('%s eat 1' %name)
g2.switch('egon')
print('%s eat 2' %name)
g2.switch()
def play(name):
print('%s play 1' %name)
g1.switch()
print('%s play 2' %name)g1=greenlet(eat)
g2=greenlet(play)g1.switch('egon')#可以在第一次switch时传入参数，以后都不需要

greenlet实现状态切换

单纯的切换（在没有io的情况下或者没有重复开辟内存空间的操作），反而会降低程序的执行速度

顺序执行
import time
def f1():
res=1
for i in range(100000000):
res+=idef f2():
res=1
for i in range(100000000):
res*=istart=time.time()
f1()
f2()
stop=time.time()
print('run time is %s' %(stop-start)) #10.985628366470337#切换
from greenlet import greenlet
import time
def f1():
res=1
for i in range(100000000):
res+=i
g2.switch()def f2():
res=1
for i in range(100000000):
res*=i
g1.switch()start=time.time()
g1=greenlet(f1)
g2=greenlet(f2)
g1.switch()
stop=time.time()
print('run time is %s' %(stop-start)) # 52.763017892837524

效率对比

greenlet只是提供了一种比generator更加便捷的切换方式，当切到一个任务执行时如果遇到io，那就原地阻塞，仍然是没有解决遇到IO自动切换来提升效率的问题。

单线程里的这20个任务的代码通常会既有计算操作又有阻塞操作，我们完全可以在执行任务1时遇到阻塞，就利用阻塞的时间去执行任务2。。。。如此，才能提高效率，这就用到了Gevent模块。

Gevent模块

安装：pip3 install gevent

Gevent 是一个第三方库，可以轻松通过gevent实现并发同步或异步编程，在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部，但它们被协作式地调度。

g1=gevent.spawn(func,1,,2,3,x=4,y=5)创建一个协程对象g1，spawn括号内第一个参数是函数名，如eat，后面可以有多个参数，可以是位置实参或关键字实参，都是传给函数eat的g2=gevent.spawn(func2)g1.join() #等待g1结束g2.join() #等待g2结束#或者上述两步合作一步：gevent.joinall([g1,g2])g1.value#拿到func1的返回值

用法介绍

import gevent
def eat(name):
print('%s eat 1' %name)
gevent.sleep(2)
print('%s eat 2' %name)def play(name):
print('%s play 1' %name)
gevent.sleep(1)
print('%s play 2' %name)g1=gevent.spawn(eat,'egon')
g2=gevent.spawn(play,name='egon')
g1.join()
g2.join()
#或者gevent.joinall([g1,g2])
print('主')

例：遇到io主动切换

上例gevent.sleep(2)模拟的是gevent可以识别的io阻塞,而time.sleep(2)或其他的阻塞,gevent是不能直接识别的需要用下面一行代码,打补丁,就可以识别了

from gevent import monkey;monkey.patch_all()必须放到被打补丁者的前面，如time，socket模块之前

或者我们干脆记忆成：要用gevent，需要将from gevent import monkey;monkey.patch_all()放到文件的开头

from gevent import monkey;monkey.patch_all()import gevent
import time
def eat():
print('eat food 1')
time.sleep(2)
print('eat food 2')def play():
print('play 1')
time.sleep(1)
print('play 2')g1=gevent.spawn(eat)
g2=gevent.spawn(play)
gevent.joinall([g1,g2])
print('主')

我们可以用threading.current_thread().getName()来查看每个g1和g2，查看的结果为DummyThread-n，即假线程 Dummy (假的意思)

from gevent import monkey;monkey.patch_all()
import threading
import gevent
import time
def eat():
print(threading.current_thread().getName())
print('eat food 1')
time.sleep(2)
print('eat food 2')def play():
print(threading.current_thread().getName())
print('play 1')
time.sleep(1)
print('play 2')g1=gevent.spawn(eat)
g2=gevent.spawn(play)
gevent.joinall([g1,g2])
print('主')

查看threading.current_thread().getName()

Gevent之同步与异步

from gevent import spawn,joinall,monkey;monkey.patch_all()import time
def task(pid):
"""
Some non-deterministic task
"""
time.sleep(0.5)
print('Task %s done' % pid)def synchronous(): # 同步
for i in range(10):
task(i)def asynchronous(): # 异步
g_l=[spawn(task,i) for i in range(10)]
joinall(g_l)
print('DONE')if __name__ == '__main__':
print('Synchronous:')
synchronous()
print('Asynchronous:')
asynchronous()
# 上面程序的重要部分是将task函数封装到Greenlet内部线程的gevent.spawn。
# 初始化的greenlet列表存放在数组threads中，此数组被传给gevent.joinall 函数，
# 后者阻塞当前流程，并执行所有给定的greenlet任务。执行流程只会在所有greenlet执行完后才会继续向下走。

Gevent之应用举例一

from gevent import monkey;monkey.patch_all()
import gevent
import requests
import timedef get_page(url):
print('GET: %s' %url)
response=requests.get(url)
if response.status_code == 200:
print('%d bytes received from %s' %(len(response.text),url))start_time=time.time()
gevent.joinall([
gevent.spawn(get_page,'https://www.python.org/'),
gevent.spawn(get_page,'https://www.yahoo.com/'),
gevent.spawn(get_page,'https://github.com/'),
])
stop_time=time.time()
print('run time is %s' %(stop_time-start_time))

协程应用：爬虫

Gevent之应用举例二

通过gevent实现单线程下的socket并发

注意：from gevent import monkey;monkey.patch_all()一定要放到导入socket模块之前，否则gevent无法识别socket的阻塞

from gevent import monkey;monkey.patch_all()
from socket import *
import gevent#如果不想用money.patch_all()打补丁,可以用gevent自带的socket
# from gevent import socket
# s=socket.socket()def server(server_ip,port):
s=socket(AF_INET,SOCK_STREAM)
s.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
s.bind((server_ip,port))
s.listen(5)
while True:
conn,addr=s.accept()
gevent.spawn(talk,conn,addr)def talk(conn,addr):
try:
while True:
res=conn.recv(1024)
print('client %s:%s msg: %s' %(addr[0],addr[1],res))
conn.send(res.upper())
except Exception as e:
print(e)
finally:
conn.close()if __name__ == '__main__':
server('127.0.0.1',8080)

server

from socket import *client=socket(AF_INET,SOCK_STREAM)
client.connect(('127.0.0.1',8080))while True:
msg=input('>>: ').strip()
if not msg:continue client.send(msg.encode('utf-8'))
msg=client.recv(1024)
print(msg.decode('utf-8'))

client

from threading import Thread
from socket import *
import threadingdef client(server_ip,port):
c=socket(AF_INET,SOCK_STREAM) #套接字对象一定要加到函数内，即局部名称空间内，放在函数外则被所有线程共享，则大家公用一个套接字对象，那么客户端端口永远一样了
c.connect((server_ip,port)) count=0
while True:
c.send(('%s say hello %s' %(threading.current_thread().getName(),count)).encode('utf-8'))
msg=c.recv(1024)
print(msg.decode('utf-8'))
count+=1
if __name__ == '__main__':
for i in range(500):
t=Thread(target=client,args=('127.0.0.1',8080))
t.start()

多线程并发多个客户端