python启动进程函数 python启动进程并获取pid

Python多进程运行——Multiprocessing基础教程2

上篇文章简单介绍python启动进程函数了multiprocessing模块python启动进程函数，本文将要介绍进程之间的数据共享和信息传递的概念。

在多进程处理中，所有新创建的进程都会有这两个特点：独立运行，有自己的内存空间。

python启动进程函数我们来举个例子展示一下：

这个程序的输出结果是：

在上面的程序中我们尝试在两个地方打印全局列表result的内容：

我们再用一张图来帮助理解记忆不同进程间的数据关系：

如果程序需要在不同的进程之间共享一些数据的话，该怎么做呢python启动进程函数？不用担心，multiprocessing模块提供了Array对象和Value对象，用来在进程之间共享数据。

所谓Array对象和Value对象分别是指从共享内存中分配的ctypes数组和对象。我们直接来看一个例子，展示如何用Array对象和Value对象在进程之间共享数据：

程序输出的结果如下：

成功了！主程序和p1进程输出了同样的结果，说明程序中确实完成了不同进程间的数据共享。那么我们来详细看一下上面的程序做了什么：

在主程序中我们首先创建了一个Array对象：

向这个对象输入的第一个参数是数据类型：i表示整数，d代表浮点数。第二个参数是数组的大小，在这个例子中我们创建了包含4个元素的数组。

类似的，我们创建了一个Value对象：

我们只对Value对象输入了一个参数，那就是数据类型，与上述的方法一致。当然，我们还可以对其指定一个初始值（比如10），就像这样：

随后，我们在创建进程对象时，将刚创建好的两个对象：result和square_sum作为参数输入给进程：

在函数中result元素通过索引进行数组赋值，square_sum通过 value 属性进行赋值。

注意：为了完整打印result数组的结果，需要使用 result[:] 进行打印，而square_sum也需要使用 value 属性进行打印：

每当python程序启动时，同时也会启动一个服务器进程。随后，只要我们需要生成一个新进程，父进程就会连接到服务器并请求它派生一个新进程。这个服务器进程可以保存Python对象，并允许其他进程使用代理来操作它们。

multiprocessing模块提供了能够控制服务器进程的Manager类。所以，Manager类也提供了一种创建可以在不同流程之间共享的数据的方法。

服务器进程管理器比使用共享内存对象更灵活，因为它们可以支持任意对象类型，如列表、字典、队列、值、数组等。此外，单个管理器可以由网络上不同计算机上的进程共享。

但是，服务器进程管理器的速度比使用共享内存要慢。

让我们来看一个例子：

这个程序的输出结果是：

我们来理解一下这个程序做了什么：首先我们创建了一个manager对象

在with语句下的所有行，都是在manager对象的范围内的。接下来我们使用这个manager对象创建了列表（类似的，我们还可以用 manager.dict() 创建字典）。

最后我们创建了进程p1（用于在records列表中插入一条新的record）和p2（将records打印出来），并将records作为参数进行传递。

服务器进程的概念再次用下图总结一下：

为了能使多个流程能够正常工作，常常需要在它们之间进行一些通信，以便能够划分工作并汇总最后的结果。multiprocessing模块支持进程之间的两种通信通道：Queue和Pipe。

使用队列来回处理多进程之间的通信是一种比较简单的方法。任何Python对象都可以使用队列进行传递。我们来看一个例子：

上面这个程序的输出结果是：

我们来看一下上面这个程序到底做了什么。首先我们创建了一个Queue对象：

然后，将这个空的Queue对象输入square_list函数。该函数会将列表中的数平方，再使用 put() 方法放入队列中：

随后使用 get() 方法，将q打印出来，直至q重新称为一个空的Queue对象：

我们还是用一张图来帮助理解记忆：

一个Pipe对象只能有两个端点。因此，当进程只需要双向通信时，它会比Queue对象更好用。

multiprocessing模块提供了 Pipe() 函数，该函数返回由管道连接的一对连接对象。 Pipe() 返回的两个连接对象分别表示管道的两端。每个连接对象都有 send() 和 recv() 方法。

我们来看一个例子：

上面这个程序的输出结果是：

我们还是来看一下这个程序到底做了什么。首先创建了一个Pipe对象：

与上文说的一样，该对象返回了一对管道两端的两个连接对象。然后使用 send() 方法和 recv() 方法进行信息的传递。就这么简单。在上面的程序中，我们从一端向另一端发送一串消息。在另一端，我们收到消息，并在收到END消息时退出。

要注意的是，如果两个进程(或线程)同时尝试从管道的同一端读取或写入管道中的数据，则管道中的数据可能会损坏。不过不同的进程同时使用管道的两端是没有问题的。还要注意，Queue对象在进程之间进行了适当的同步，但代价是增加了计算复杂度。因此，Queue对象对于线程和进程是相对安全的。

最后我们还是用一张图来示意：

Python的multiprocessing模块还剩最后一篇文章：多进程的同步与池化

敬请期待啦！

相关问答

Q1: python中的进程-实战部分

如果想python启动进程函数了解进程 可以先看一下这一篇 python中的进程-理论部分

python中的多线程无法利用多核优势python启动进程函数，如果想要充分地使用多核CPU的资源（os.cpu_count()查看），在python中大部分情况需要使用多进程。Python提供了multiprocessing。

multiprocessing模块用来开启子进程，并在子进程中执行python启动进程函数我们定制的任务（比如函数），该模块与多线程模块threading的编程接口类似。

　 multiprocessing模块的功能众多：支持子进程、通信和共享数据、执行不同形式的同步，提供了Process、Queue、Pipe、Lock等组件。

需要再次强调的一点是：与线程不同，进程没有任何共享状态，进程修改的数据，改动仅限于该进程内。

创建进程的类 ：

参数介绍：

group参数未使用，值始终为None

target表示调用对象，即子进程要执行的任务

args表示调用对象的位置参数元组，args=(1,2,'tiga',)

kwargs表示调用对象的字典,kwargs={'name':'tiga','age':18}

name为子进程的名称

方法介绍：

p.start()：启动进程，并调用该子进程中的p.run()

p.run():进程启动时运行的方法，正是它去调用target指定的函数，我们自定义类的类中一定要实现该方法

p.terminate():强制终止进程p，不会进行任何清理操作，如果p创建了子进程，该子进程就成了僵尸进程，使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放，进而导致死锁

p.is_alive():如果p仍然运行，返回True

p.join([timeout]):主线程等待p终止（强调：是主线程处于等的状态，而p是处于运行的状态）。timeout是可选的超时时间，需要强调的是，p.join只能join住start开启的进程，而不能join住run开启的进程

属性介绍：

注意：在windows中Process()必须放到# if __name__ == '__main__':下

创建并开启子进程的两种方式

方法一:

方法二：

有了join，程序不就是串行了吗？？？

terminate与is_alive

name与pid

Q2: python启动电脑程序

import os

#打开图片

os.startfile(r'D:\新建.png')

#打开txt文件

os.startfile(r'D:\新建文本文档.txt')

#打开exe文件

os.startfile(r'D:\360DrvMgrInstaller_beta.exe')

"""startfile命令里只需输入文件的路径即可"""

进阶用法

官方解释os.startfile函数有两个参数

os.startfile(path[, operation])

path指的是文件路径，有意思的是operation参数，

当 operation 未指定或指定为 'open' 时，通过扩展名相关联的应用程序（如果有）打开文件。

当指定另一个 operation 时，它必须是一个“命令动词” (“command verb”)，该词指定对文件执行的操作。文档中的常用动词有 'print' 和 'edit' （用于文件），以及 'explore' 和 'find' （用于目录）。

Q3: python 怎么启动一个外部命令程序，并且不阻塞当前进程

在Python中，我们通过标准库中的subprocess包来fork一个子进程，并运行一个外部的程序。

使用subprocess包中的函数创建子进程的时候，要注意:

1) 在创建子进程之后，父进程是否暂停，并等待子进程运行。

2) 函数返回什么

3) 当returncode不为0时，父进程如何处理。

subprocess.call()

父进程等待子进程完成

返回退出信息

subprocess.check_call()

父进程等待子进程完成

返回0

检查退出信息，如果returncode不为0，则举出错误subprocess.CalledProcessError，该对象包含有returncode属性，可用try...except...来检查。

subprocess.check_output()

父进程等待子进程完成

返回子进程向标准输出的输出结果

检查退出信息，如果returncode不为0，则举出错误subprocess.CalledProcessError，该对象包含有returncode属性和output属性，output属性为标准输出的输出结果，可用try...except...来检查。

这三个函数的使用方法相类似，我们以subprocess.call()来说明:

import subprocess

rc = subprocess.call(["ls","-l"])

实际上，我们上面的三个函数都是基于Popen()的封装(wrapper)。这些封装的目的在于让我们容易使用子进程。当我们想要更个性化我们的需求的时候，就要转向Popen类，该类生成的对象用来代表子进程。

与上面的封装不同，Popen对象创建后，主程序不会自动等待子进程完成。我们必须调用对象的wait()方法，父进程才会等待 (也就是阻塞block)：

import subprocess

child = subprocess.Popen(["ping","-c","5",""])

child.wait()

print("parent process")

此外，你还可以在父进程中对子进程进行其它操作，比如我们上面例子中的child对象:

child.poll() # 检查子进程状态

child.kill() # 终止子进程

child.send_signal() # 向子进程发送信号

child.terminate() # 终止子进程

因此，如果不希望当前进程被阻塞，你可以使用Popen对象进行操作。

Q4: python 怎么运行一个新的进程

import multiprocessing

# xxx是python启动进程函数你的函数名python启动进程函数，记住不要加括号

# args是参数， 是一个元组， 如果只有一个参数则是args=(x, )

p = multiprocessing.Process(target=xxx, args=(x,y))

p.start()

Q5: python怎么实现一个进程

想要充分利用多核CPU资源python启动进程函数，Python中大部分情况下都需要使用多进程python启动进程函数，Python中提供python启动进程函数了multiprocessing这个包实现多进程。multiprocessing支持子进程、进程间的同步与通信，提供了Process、Queue、Pipe、Lock等组件。

开辟子进程

multiprocessing中提供了Process类来生成进程实例

Process([group [, target [, name [, args [, kwargs]]]]])1

group分组，实际上不使用

target表示调用对象，你可以传入方法的名字

args表示给调用对象以元组的形式提供参数，比如target是函数a，python启动进程函数他有两个参数m，n，那么该参数为args=(m, n)即可

kwargs表示调用对象的字典

name是别名，相当于给这个进程取一个名字

先来个小例子：

# -*- coding:utf-8 -*-from multiprocessing import Process, Poolimport osimport timedef run_proc(wTime):

   n = 0

   while n 3:        print "subProcess %s run," % os.getpid(), "{0}".format(time.ctime())    #获取当前进程号和正在运行是的时间

       time.sleep(wTime)    #等待（休眠）

       n += 1if __name__ == "__main__":

   p = Process(target=run_proc, args=(2,))  #申请子进程

   p.start()     #运行进程

   print "Parent process run. subProcess is ", p.pid    print "Parent process end,{0}".format(time.ctime())12345678910111213141516171819

运行结果：

Parent process run. subProcess is 30196 

Parent process end,Mon Mar 27 11:20:21 2017 

subProcess 30196 run, Mon Mar 27 11:20:21 2017 

subProcess 30196 run, Mon Mar 27 11:20:23 2017 

subProcess 30196 run, Mon Mar 27 11:20:25 2017

根据运行结果可知，父进程运行结束后子进程仍然还在运行，这可能造成僵尸（ zombie）进程。

通常情况下，当子进程终结时，它会通知父进程，清空自己所占据的内存，并在内核里留下自己的退出信息。父进程在得知子进程终结时，会从内核中取出子进程的退出信息。但是，如果父进程早于子进程终结，这可能造成子进程的退出信息滞留在内核中，子进程成为僵尸（zombie）进程。当大量僵尸进程积累时，内存空间会被挤占。

有什么办法可以避免僵尸进程呢？ 

这里介绍进程的一个属性 deamon，当其值为TRUE时，其父进程结束，该进程也直接终止运行（即使还没运行完）。 

所以给上面的程序加上p.deamon = true，看看效果。

# -*- coding:utf-8 -*-from multiprocessing import Process, Poolimport osimport timedef run_proc(wTime):

   n = 0

   while n 3:        print "subProcess %s run," % os.getpid(), "{0}".format(time.ctime())

       time.sleep(wTime)

       n += 1if __name__ == "__main__":

   p = Process(target=run_proc, args=(2,))

   p.daemon = True    #加入daemon

   p.start()    print "Parent process run. subProcess is ", p.pid    print "Parent process end,{0}".format(time.ctime())1234567891011121314151617181920

执行结果：

Parent process run. subProcess is 31856 

Parent process end,Mon Mar 27 11:40:10 2017

这是问题又来了，子进程并没有执行完，这不是所期望的结果。有没办法将子进程执行完后才让父进程结束呢？ 

这里引入p.join()方法，它使子进程执行结束后，父进程才执行之后的代码

# -*- coding:utf-8 -*-from multiprocessing import Process, Poolimport osimport timedef run_proc(wTime):

   n = 0

   while n 3:        print "subProcess %s run," % os.getpid(), "{0}".format(time.ctime())

       time.sleep(wTime)

       n += 1if __name__ == "__main__":

   p = Process(target=run_proc, args=(2,))

   p.daemon = True

   p.start()

   p.join()    #加入join方法

   print "Parent process run. subProcess is ", p.pid    print "Parent process end,{0}".format(time.ctime())123456789101112131415161718192021

执行结果：

subProcess 32076 run, Mon Mar 27 11:46:07 2017 

subProcess 32076 run, Mon Mar 27 11:46:09 2017 

subProcess 32076 run, Mon Mar 27 11:46:11 2017 

Parent process run. subProcess is 32076 

Parent process end,Mon Mar 27 11:46:13 2017

这样所有的进程就能顺利的执行了。

将进程定义成类

通过继承Process类，来自定义进程类，实现run方法。实例p通过调用p.start()时自动调用run方法。 

如下：

# -*- coding:utf-8 -*-from multiprocessing import Process, Poolimport osimport timeclass Myprocess(Process):

   def __init__(self, wTime):

       Process.__init__(self)

       self.wTime = wTime    def run(self):

       n = 0

       while n 3:            print "subProcess %s run," % os.getpid(), "{0}".format(time.ctime())

           time.sleep(self.wTime)

           n += 1if __name__ == "__main__":

   p = Myprocess(2)

   p.daemon = True

   p.start()    #自动调用run方法

   p.join()    print "Parent process run. subProcess is ", p.pid    print "Parent process end,{0}".format(time.ctime())12345678910111213141516171819202122232425262728

执行结果和上一个例子相同。

创建多个进程

很多时候系统都需要创建多个进程以提高CPU的利用率，当数量较少时，可以手动生成一个个Process实例。当进程数量很多时，或许可以利用循环，但是这需要程序员手动管理系统中并发进程的数量，有时会很麻烦。这时进程池Pool就可以发挥其功效了。可以通过传递参数限制并发进程的数量，默认值为CPU的核数。 

直接上例子：

# -*- coding:utf-8 -*-from multiprocessing import Process,Poolimport os,timedef run_proc(name):        ##定义一个函数用于进程调用

   for i in range(5):    

       time.sleep(0.2)    #休眠0.2秒

       print 'Run child process %s (%s)' % (name, os.getpid())#执行一次该函数共需1秒的时间if __name__ =='__main__': #执行主进程

   print 'Run the main process (%s).' % (os.getpid())

   mainStart = time.time() #记录主进程开始的时间

   p = Pool(8)           #开辟进程池

   for i in range(16):                                 #开辟14个进程

       p.apply_async(run_proc,args=('Process'+str(i),))#每个进程都调用run_proc函数，

                                                       #args表示给该函数传递的参数。

   print 'Waiting for all subprocesses done ...'

   p.close() #关闭进程池

   p.join()  #等待开辟的所有进程执行完后，主进程才继续往下执行

   print 'All subprocesses done'

   mainEnd = time.time()  #记录主进程结束时间

   print 'All process ran %0.2f seconds.' % (mainEnd-mainStart)  #主进程执行时间123456789101112131415161718192021222324

执行结果： 

开头部分

Run the main process (30920). 

Waiting for all subprocesses done … 

Run child process Process0 (32396) 

Run child process Process3 (25392) 

Run child process Process1 (28732) 

Run child process Process2 (32436)

末尾部分：

Run child process Process15 (25880) 

All subprocesses done 

All process last 2.49 seconds.

相关说明：

这里进程池对并发进程的限制数量为8个，而程序运行时会产生16个进程，进程池将自动管理系统内进程的并发数量，其余进程将会在队列中等待。限制并发数量是因为，系统中并发的进程不是越多越好，并发进程太多，可能使CPU大部分的时间用于进程调度，而不是执行有效的计算。

采用多进程并发技术时，就单个处理机而言，其对进程的执行是串行的。但具体某个时刻哪个进程获得CPU资源而执行是不可预知的（如执行结果的开头部分，各进程的执行顺序不定），这就体现了进程的异步性。

如果单个程序执行14次run_proc函数，那么它会需要至少16秒,通过进程的并发，这里只需要2.49秒，可见并发的优势。

python启动进程函数的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于python启动进程并获取pid、python启动进程函数的信息别忘了在本站进行查找喔。