管道函数python. 管道函数必须具有支持的集合返回类型

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

Python多进程运行——Multiprocessing基础教程2

上篇文章简单介绍管道函数python.了multiprocessing模块管道函数python.，本文将要介绍进程之间的数据共享和信息传递的概念。

在多进程处理中，所有新创建的进程都会有这两个特点：独立运行，有自己的内存空间。

我们来举个例子展示一下：

这个程序的输出结果是：

在上面的程序中我们尝试在两个地方打印全局列表result的内容：

我们再用一张图来帮助理解记忆不同进程间的数据关系：

如果程序需要在不同的进程之间共享一些数据的话，该怎么做呢？不用担心，multiprocessing模块提供管道函数python.了Array对象和Value对象，用来在进程之间共享数据。

所谓Array对象和Value对象分别是指从共享内存中分配的ctypes数组和对象。我们直接来看一个例子，展示如何用Array对象和Value对象在进程之间共享数据：

程序输出的结果如下：

成功了管道函数python.！主程序和p1进程输出了同样的结果，说明程序中确实完成了不同进程间的数据共享。那么我们来详细看一下上面的程序做了什么：

在主程序中我们首先创建了一个Array对象：

向这个对象输入的第一个参数是数据类型：i表示整数，d代表浮点数。第二个参数是数组的大小，在这个例子中我们创建了包含4个元素的数组。

类似的，我们创建了一个Value对象：

我们只对Value对象输入了一个参数，那就是数据类型，与上述的方法一致。当然，我们还可以对其指定一个初始值（比如10），就像这样：

随后，我们在创建进程对象时，将刚创建好的两个对象：result和square_sum作为参数输入给进程：

在函数中result元素通过索引进行数组赋值，square_sum通过 value 属性进行赋值。

注意：为了完整打印result数组的结果，需要使用 result[:] 进行打印，而square_sum也需要使用 value 属性进行打印：

每当python程序启动时，同时也会启动一个服务器进程。随后，只要我们需要生成一个新进程，父进程就会连接到服务器并请求它派生一个新进程。这个服务器进程可以保存Python对象，并允许其他进程使用代理来操作它们。

multiprocessing模块提供了能够控制服务器进程的Manager类。所以，Manager类也提供了一种创建可以在不同流程之间共享的数据的方法。

服务器进程管理器比使用共享内存对象更灵活，因为它们可以支持任意对象类型，如列表、字典、队列、值、数组等。此外，单个管理器可以由网络上不同计算机上的进程共享。

但是，服务器进程管理器的速度比使用共享内存要慢。

让我们来看一个例子：

这个程序的输出结果是：

我们来理解一下这个程序做了什么：首先我们创建了一个manager对象

在with语句下的所有行，都是在manager对象的范围内的。接下来我们使用这个manager对象创建了列表（类似的，我们还可以用 manager.dict() 创建字典）。

最后我们创建了进程p1（用于在records列表中插入一条新的record）和p2（将records打印出来），并将records作为参数进行传递。

服务器进程的概念再次用下图总结一下：

为了能使多个流程能够正常工作，常常需要在它们之间进行一些通信，以便能够划分工作并汇总最后的结果。multiprocessing模块支持进程之间的两种通信通道：Queue和Pipe。

使用队列来回处理多进程之间的通信是一种比较简单的方法。任何Python对象都可以使用队列进行传递。我们来看一个例子：

上面这个程序的输出结果是：

我们来看一下上面这个程序到底做了什么。首先我们创建了一个Queue对象：

然后，将这个空的Queue对象输入square_list函数。该函数会将列表中的数平方，再使用 put() 方法放入队列中：

随后使用 get() 方法，将q打印出来，直至q重新称为一个空的Queue对象：

我们还是用一张图来帮助理解记忆：

一个Pipe对象只能有两个端点。因此，当进程只需要双向通信时，它会比Queue对象更好用。

multiprocessing模块提供了 Pipe() 函数，该函数返回由管道连接的一对连接对象。 Pipe() 返回的两个连接对象分别表示管道的两端。每个连接对象都有 send() 和 recv() 方法。

我们来看一个例子：

上面这个程序的输出结果是：

我们还是来看一下这个程序到底做了什么。首先创建了一个Pipe对象：

与上文说的一样，该对象返回了一对管道两端的两个连接对象。然后使用 send() 方法和 recv() 方法进行信息的传递。就这么简单。在上面的程序中，我们从一端向另一端发送一串消息。在另一端，我们收到消息，并在收到END消息时退出。

要注意的是，如果两个进程(或线程)同时尝试从管道的同一端读取或写入管道中的数据，则管道中的数据可能会损坏。不过不同的进程同时使用管道的两端是没有问题的。还要注意，Queue对象在进程之间进行了适当的同步，但代价是增加了计算复杂度。因此，Queue对象对于线程和进程是相对安全的。

最后我们还是用一张图来示意：

Python的multiprocessing模块还剩最后一篇文章：多进程的同步与池化

敬请期待啦！

相关问答

Q1: python 常用的系统函数有哪些

1.常用内置函数：(不用import就可以直接使用)

help(obj) 在线帮助, obj可是任何类型

callable(obj) 查看一个obj是不是可以像函数一样调用

repr(obj) 得到obj的表示字符串，可以利用这个字符串eval重建该对象的一个拷贝

eval_r(str) 表示合法的python表达式，返回这个表达式

dir(obj) 查看obj的name space中可见的name

hasattr(obj,name) 查看一个obj的name space中是否有name

getattr(obj,name) 得到一个obj的name space中的一个name

setattr(obj,name,value) 为一个obj的name space中的一个name指向vale这个object

delattr(obj,name) 从obj的name space中删除一个name

vars(obj) 返回一个object的name space。用dictionary表示

locals() 返回一个局部name space,用dictionary表示

globals() 返回一个全局name space,用dictionary表示

type(obj) 查看一个obj的类型

isinstance(obj,cls) 查看obj是不是cls的instance

issubclass(subcls,supcls) 查看subcls是不是supcls的子类

类型转换函数

chr(i) 把一个ASCII数值,变成字符

ord(i) 把一个字符或者unicode字符,变成ASCII数值

oct(x) 把整数x变成八进制表示的字符串

hex(x) 把整数x变成十六进制表示的字符串

str(obj) 得到obj的字符串描述

list(seq) 把一个sequence转换成一个list

tuple(seq) 把一个sequence转换成一个tuple

dict(),dict(list) 转换成一个dictionary

int(x) 转换成一个integer

long(x) 转换成一个long interger

float(x) 转换成一个浮点数

complex(x) 转换成复数

max(...) 求最大值

min(...) 求最小值

用于执行程序的内置函数

complie 如果一段代码经常要使用,那么先编译,再运行会更快。

2.和操作系统相关的调用

系统相关的信息模块 import sys

sys.argv是一个list,包含所有的命令行参数.

sys.stdout sys.stdin sys.stderr 分别表示标准输入输出,错误输出的文件对象.

sys.stdin.readline() 从标准输入读一行 sys.stdout.write("a") 屏幕输出a

sys.exit(exit_code) 退出程序

sys.modules 是一个dictionary，表示系统中所有可用的module

sys.platform 得到运行的操作系统环境

sys.path 是一个list,指明所有查找module，package的路径.

操作系统相关的调用和操作 import os

os.environ 一个dictionary 包含环境变量的映射关系 os.environ["HOME"] 可以得到环境变量HOME的值

os.chdir(dir) 改变当前目录 os.chdir('d:\\outlook') 注意windows下用到转义

os.getcwd() 得到当前目录

os.getegid() 得到有效组id os.getgid() 得到组id

os.getuid() 得到用户id os.geteuid() 得到有效用户id

os.setegid os.setegid() os.seteuid() os.setuid()

os.getgruops() 得到用户组名称列表

os.getlogin() 得到用户登录名称

os.getenv 得到环境变量

os.putenv 设置环境变量

os.umask 设置umask

os.system(cmd) 利用系统调用，运行cmd命令

操作举例：

os.mkdir('/tmp/xx') os.system("echo 'hello' /tmp/xx/a.txt") os.listdir('/tmp/xx')

os.rename('/tmp/xx/a.txt','/tmp/xx/b.txt') os.remove('/tmp/xx/b.txt') os.rmdir('/tmp/xx')

用python编写一个简单的shell

#!/usr/bin/python

import os, sys

cmd = sys.stdin.readline()

while cmd:

os.system(cmd)

cmd = sys.stdin.readline()

用os.path编写平台无关的程序

os.path.abspath("1.txt") == os.path.join(os.getcwd(), "1.txt")

os.path.split(os.getcwd()) 用于分开一个目录名称中的目录部分和文件名称部分。

os.path.join(os.getcwd(), os.pardir, 'a', 'a.doc') 全成路径名称.

os.pardir 表示当前平台下上一级目录的字符 ..

os.path.getctime("/root/1.txt") 返回1.txt的ctime(创建时间)时间戳

os.path.exists(os.getcwd()) 判断文件是否存在

os.path.expanduser('~/dir') 把~扩展成用户根目录

os.path.expandvars('$PATH') 扩展环境变量PATH

os.path.isfile(os.getcwd()) 判断是否是文件名，1是0否

os.path.isdir('c:\Python26\temp') 判断是否是目录,1是0否

os.path.islink('/home/huaying/111.sql') 是否是符号连接 windows下不可用

os.path.ismout(os.getcwd()) 是否是文件系统安装点 windows下不可用

os.path.samefile(os.getcwd(), '/home/huaying') 看看两个文件名是不是指的是同一个文件

os.path.walk('/home/huaying', test_fun, "a.c")

遍历/home/huaying下所有子目录包括本目录,对于每个目录都会调用函数test_fun.

例：在某个目录中，和他所有的子目录中查找名称是a.c的文件或目录。

def test_fun(filename, dirname, names): //filename即是walk中的a.c dirname是访问的目录名称

if filename in names: //names是一个list,包含dirname目录下的所有内容

print os.path.join(dirname, filename)

os.path.walk('/home/huaying', test_fun, "a.c")

文件操作

打开文件

f = open("filename", "r") r只读 w写 rw读写 rb读二进制 wb写二进制 w+写追加

读写文件

f.write("a") f.write(str) 写一字符串 f.writeline() f.readlines() 与下read类同

f.read() 全读出来 f.read(size) 表示从文件中读取size个字符

f.readline() 读一行,到文件结尾,返回空串. f.readlines() 读取全部，返回一个list. list每个元素表示一行，包含"\n"\

f.tell() 返回当前文件读取位置

f.seek(off, where) 定位文件读写位置. off表示偏移量，正数向文件尾移动，负数表示向开头移动。

where为0表示从开始算起,1表示从当前位置算,2表示从结尾算.

f.flush() 刷新缓存

关闭文件

f.close()

regular expression 正则表达式 import re

简单的regexp

p = re.compile("abc") if p.match("abc") : print "match"

上例中首先生成一个pattern(模式),如果和某个字符串匹配，就返回一个match object

除某些特殊字符metacharacter元字符，大多数字符都和自身匹配。

这些特殊字符是。^ $ * + ? { [ ] \ | ( )

字符集合(用[]表示)

列出字符,如[abc]表示匹配a或b或c,大多数metacharacter在[]中只表示和本身匹配。例：

a = ".^$*+?{\\|()" 大多数metachar在[]中都和本身匹配，但"^[]\"不同

p = re.compile("["+a+"]")

for i in a:

if p.match(i):

print "[%s] is match" %i

else:

print "[%s] is not match" %i

在[]中包含[]本身，表示"["或者"]"匹配.用

和

表示.

^出现在[]的开头,表示取反.[^abc]表示除了a,b,c之外的所有字符。^没有出现在开头，即于身身匹配。

-可表示范围.[a-zA-Z]匹配任何一个英文字母。[0-9]匹配任何数字。

\在[]中的妙用。

\d [0-9]

\D [^0-9]

\s [ \t\n\r\f\v]

\S [^ \t\n\r\f\v]

\w [a-zA-Z0-9_]

\W [^a-zA-Z0-9_]

\t 表示和tab匹配, 其他的都和字符串的表示法一致

\x20 表示和十六进制ascii 0x20匹配

有了\，可以在[]中表示任何字符。注：单独的一个"."如果没有出现[]中，表示出了换行\n以外的匹配任何字符,类似[^\n].

regexp的重复

{m,n}表示出现m个以上(含m个),n个以下(含n个). 如ab{1,3}c和abc,abbc,abbbc匹配，不会与ac,abbbc匹配。

m是下界，n是上界。m省略表下界是0,n省略，表上界无限大。

*表示{,} +表示{1,} ?表示{0,1}

最大匹配和最小匹配 python都是最大匹配，如果要最小匹配，在*,+,?,{m,n}后面加一个?.

match object的end可以得到匹配的最后一个字符的位置。

re.compile("a*").match('aaaa').end() 4 最大匹配

re.compile("a*?").match('aaaa').end() 0 最小匹配

使用原始字符串

字符串表示方法中用\\表示字符\.大量使用影响可读性。

解决方法：在字符串前面加一个r表示raw格式。

a = r"\a" print a 结果是\a

a = r"\"a" print a 结果是\"a

使用re模块

先用re.compile得到一个RegexObject 表示一个regexp

后用pattern的match,search的方法,得到MatchObject

再用match object得到匹配的位置,匹配的字符串等信息

RegxObject常用函数:

re.compile("a").match("abab") 如果abab的开头和re.compile("a")匹配，得到MatchObject

_sre.SRE_Match object at 0x81d43c8

print re.compile("a").match("bbab")

None 注：从str的开头开始匹配

re.compile("a").search("abab") 在abab中搜索第一个和re_obj匹配的部分

_sre.SRE_Match object at 0x81d43c8

print re.compile("a").search("bbab")

_sre.SRE_Match object at 0x8184e18 和match()不同,不必从开头匹配

re_obj.findall(str) 返回str中搜索所有和re_obj匹配的部分.

返回一个tuple,其中元素是匹配的字符串.

MatchObject的常用函数

m.start() 返回起始位置,m.end()返回结束位置(不包含该位置的字符).

m.span() 返回一个tuple表示(m.start(), m.end())

m.pos(), m.endpos(), m.re(), m.string()

m.re().search(m.string(), m.pos(), m.endpos()) 会得到m本身

m.finditer()可以返回一个iterator,用来遍历所有找到的MatchObject.

for m in re.compile("[ab]").finditer("tatbxaxb"):

print m.span()

高级regexp

| 表示联合多个regexp. A B两个regexp，A|B表示和A匹配或者跟B匹配.

^ 表示只匹配一行的开始行首,^只有在开头才有此特殊意义。

$ 表示只匹配一行的结尾

\A 表示只匹配第一行字符串的开头 ^匹配每一行的行首

\Z 表示只匹配行一行字符串的结尾 $匹配第一行的行尾

\b 只匹配词的边界例：\binfo\b 只会匹配"info" 不会匹配information

\B 表示匹配非单词边界

示例如下：

print re.compile(r"\binfo\b").match("info ") #使用raw格式 \b表示单词边界

_sre.SRE_Match object at 0x817aa98

print re.compile("\binfo\b").match("info ") #没有使用raw \b表示退格符号

None

print re.compile("\binfo\b").match("\binfo\b ")

_sre.SRE_Match object at 0x8174948

分组(Group) 示例：re.compile("(a(b)c)d").match("abcd").groups() ('abc', 'b')

#!/usr/local/bin/python

import re

x = """

name: Charles

Address: BUPT

name: Ann

Address: BUPT

"""

#p = re.compile(r"^name:(.*)\n^Address:(.*)\n", re.M)

p = re.compile(r"^name:(?P.*)\n^Address:(?P.*)\n", re.M)

for m in p.finditer(x):

print m.span()

print "here is your friends list"

print "%s, %s"%m.groups()

Compile Flag

用re.compile得到RegxObject时，可以有一些flag用来调整RegxObject的详细特征.

DOTALL, S 让.匹配任意字符,包括换行符\n

IGNORECASE, I 忽略大小写

LOCALES, L 让\w \W \b \B和当前的locale一致

MULTILINE, M 多行模式，只影响^和$(参见上例)

VERBOSE, X verbose模式

Q2: Python 之内置函数：filter、map、reduce、zip、enumerate

这几个函数在 Python 里面被称为高阶函数，本文主要学习它们的用法。

filter 函数原型如下：

第一个参数是判断函数（返回结果需要是 True 或者 False），第二个为序列，该函数将对 iterable 序列依次执行 function(item) 操作，返回结果是过滤之后结果组成的序列。

简单记忆：对序列中的元素进行筛选，获取符合条件的序列。

返回结果为：，使用 list 函数可以输入序列内容。

map 函数原型如下：

该函数运行之后生成一个 list，第一个参数是函数、第二个参数是一个或多个序列；

下述代码是一个简单的测试案例：

上述代码运行完毕，得到的结果是：。使用 print(list(my_new_list)) 可以得到结果。

map 函数的第一个参数，可以有多个参数，当这种情况出现后，后面的第二个参数需要是多个序列。

map 函数解决的问题：

reduce 函数原型如下：

第一个参数是函数，第二个参数是序列，返回计算结果之后的值。该函数价值在于滚动计算应用于列表中的连续值。

测试代码如下：

最终的结果是 6，如果设置第三个参数为 4，可以运行代码查看结果，最后得到的结论是，第三个参数表示初始值，即累加操作初始的数值。

简单记忆：对序列内所有元素进行累计操作。

zip 函数原型如下：

zip 函数将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。

如果各个迭代器的元素个数不一样，则返回列表长度与最短的对象相同，利用星号（ * ）操作符，可以将元组解压为列表。

测试代码如下：

展示如何利用 * 操作符：

输出结果如下：

简单记忆：zip 的功能是映射多个容器的相似索引，可以方便用于来构造字典。

enumerate 函数原型如下：

参数说明：

该函数用于将一个可遍历的数据对象组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。

测试代码如下：

返回结果为：。

本文涉及的函数可以与 lambda 表达式进行结合，能大幅度提高编码效率。最好的学习资料永远是官方手册

Q3: python stdin 为pipe什么意思

Linux中进程的通信方式有信号，管道，共享内存，消息队列socket等。其中管道是*nix系统进程间通信的最古老形式，所有*nix都提供这种通信方式。管道是一种半双工的通信机制，也就是说，它只能一端用来读，另外一端用来写；另外，管道只能用来在具有公共祖先的两个进程之间通信。管道通信遵循先进先出的原理，并且数据只能被读取一次，当此段数据被读取后，马上会从数据中消失，这一点很重要。

Linux上，创建管道使用pipe函数，当它执行后，会产生两个文件描述符，分别为读端和写端。单个进程中的管道几乎没有任何作用，通常会先调用pipe，然后调用fork，从而创建从父进程到子进程的IPC通道。

Linux中，我们经常会使用到管道，例如用cat命令查看一个大文件时，一页不能全部显示，我们可以通过cat xxx | more来分页显示，又比如搜索文件里的内容可以用 cat xxx | grep search来进行，这里我们都用到了管道。接下来我会用python编写一段自动分页显示的程序，而不用手动来使用管道。

#!/usr/bin/env python

import os,sys

if not sys.argv[1:]:

print "No filename input"

sys.exit(1)

try:

fp = open(sys.argv[1],"r")

except IOError,msg:

sys.exit(msg)

pi=os.pipe()

pid=os.fork()

if pid:

#parent

os.close(pi[0]) #close read pipe

#write to pipe

line=fp.readline()

while line:

os.write(pi[1],line)

line=fp.readline()

#close write pipe

os.close(pi[1])

#wait for chile

os.waitpid(pid,0)

else:

os.close(pi[1]) #close write pipe

#put pipe read to stdin

os.dup2(pi[0],sys.stdin.fileno())

os.close(pi[0])

os.execl("/bin/more","more")

把这段代码存为scat.py，增加执行权限之后，运行 scat.py 文件名，系统就会自动读取文件的内容并分页，与使用 cat 文件名 | more 的效果是一模一样的。在上面的代码中，用到了前几篇博客中说的fork，dup2和exec系列函数。

Q4: python编程中 os.mkfifo()和os.mknod()函数具体用法？最好有例子，里面参数具体怎么配置就能创建管道或节

mkfifo函数使用

[code]mkfifo（建立实名管道）

正文

Python多进程运行——Multiprocessing基础教程2

相关问答

相关阅读

c语言将矩阵用二维数组表示，c语言如何把二维数组放到一维数组

用js表示驼峰函数，驼峰函数图像

C语言中什么表示结束，c语言中什么表示结束运行

c语言中的F什么意思，c语言中f表示的数是多少

js正则表示替换指定字符串，js用正则表达式替换

知识表示法面向对象表示法，知识表示形式包括什么

c语言中虚根怎么表示什么，c语言怎么输出虚根

c语言freight是什么意思，c语言中f表示什么

目录[+]