Python通过队列实现进程间通信详情

作者:ζ小菜鸡 时间:2023-07-24 17:49:44 

一、前言

在多进程中,每个进程之间是什么关系呢?其实每个进程都有自己的地址空间、内存、数据栈以及其他记录其运行状态的辅助数据。下面通过一个例子,验证一下进程之间能否直接共享信息。

定义一个全局变量g_num,分别创建2个子进程对g_num执行不同的操作,并输出操作后的结果。

代码如下:

# _*_ coding:utf-8 _*_
from multiprocessing import Process
def plus():
   print("-------子进程1开始----------")
   global g_num
   g_num += 50
   print("g_num is %d" % g_num)
   print("-------子进程1结束----------")
def minus():
   print("-------子进程2开始----------")
   global g_num
   g_num -= 50
   print("g_num is %d" % g_num)
   print("-------子进程2结束----------")
g_num = 100  # 定义一个全局变量
if __name__ == "__main__":
   print("-------主进程开始----------")
   print("g_num is %d" % g_num)
   p1 = Process(target=plus)  # 实例化进程p1
   p2 = Process(target=minus)  # 实例化进程p2
   p1.start()  # 开启p1进程
   p2.start()  # 开启p2进程
   p1.join()  # 等待p1进程结束
   p2.join()  # 等待p2进程结束
   print("-------主进程结束----------")

运行结果如图所示:

Python通过队列实现进程间通信详情

上述代码中,分别创建了2个子进程,一个子进程中令g_num加上50,另一个子进程令g_num减去50。但是从运行结果可以看出来,g_num在父进程和2个子进程中的初始值都是100。也就是全局变量g_num在一个进程中的结果,没有传到下一个进程中,即进程之间没有共享信息。

进程间示意图如图所示:

Python通过队列实现进程间通信详情

要如何才能实现进程间的通信呢?Python的multiprocessing模块包装了底层的机制,提供了Queue(队列)、Pipes(管道)等多种方式来交换数据。本文将讲解通过队列(Queue)来实现进程间的通信。

二、队列简介

队列(Queue)就是模型仿现实中的排队。例如学生在食堂排队买饭。新来的学生排队到队伍最后,最前面的学生买完饭走开,后面的学生跟上。

可以看出队列有两个特点:

  • 新来的学生都排在队尾。

  • 最前的学生完成后离队,后面一个跟上。

根据以上特点,可以归纳出队列的结构如图所示:

Python通过队列实现进程间通信详情

三、多进程队列的使用

进程之间有时需要通信,操作系统提供了很多机制来实现进程间的通信。可以使用multiprocessing模块的Queue实现多进程之间的数据传递。Queue本身是一个消息队列程序,下面介绍一下Queue的使用。

初始化Queue()对象时(例如:q=Queue(num)),若括号中没有指定最大可接收的消息数量,或数量为负值,那么就代表可接收的消息数量没有上限(直到内存的尽头)。

Queue的常用方法如下:

Queue.qsize():返回当前队列包含的消息数量。Queue.empty():如果队列为空,返回True;返之返回False。Queue.full():如果队列满了,返回True;反之返回False。Queue.get(block[,timeout]):获取队列中的一条信息,然后将其从队列中移除,block默认值为True。

如果block使用默认值,且没有设置timeout(单位秒),消息队列为空,此时程序将被阻塞(停在读取状态),直到从消息队列读到消息为止。如果设置了timeout,则会等待timeout秒,若还没有读取任何消息,则抛出“Queue.Empty”异常。

如果block值为False,消息队列为空,则会立刻抛出“Queue.Empty”异常。

Queue.get_nowait():相当于Queue.get(False)。Queue.put(item,[block[,timeout]]):将item消息写入队列,block默认值为True。

如果block使用默认值,且没有设置timeout(单位秒),消息队列如果已经没有空间可以写入,此时程序将被阻塞(停在写入状态),直到从消息队列腾出空间为止,如果设置了timeout,则会等待timeout秒,若还没有空间,则抛出“Queue.Full”异常。

如果block值为False,消息队列没有空间可写入,则会立刻抛出“Queue.Full”异常

Queue.put_nowait(item):相当Queue.put(item,False)。

下面,通过一个例子学习一下如何使用processing.Queue。

代码如下:

# _*_ coding:utf-8 _*_
from multiprocessing import Queue
if __name__ == "__main__":
   q = Queue(3)
   q.put("消息1")
   q.put("消息2")
   print(q.full())  # 返回False
   q.put("消息3")
   print(q.full())  # 返回True
   # 因为消息队列已满,下面的try都会抛出异常
   # 第一个try会等待2秒再抛出异常,第二个try会立刻抛出异常
   try:
       q.put("消息4", True, 2)
   except:
       print("消息队列已满,现有消息数量:%s" % q.qsize())

try:
       q.put_nowait("消息4")
   except:
       print("消息队列已满,现有消息数量:%s" % q.qsize())

# 读取消息时,先判断消息队列是否为空,再读取
   if not q.empty():
       print("-----从队列中获取消息-------")
       for i in range(q.qsize()):
           print(q.get_nowait())
   # 先判读消息队列是否已满,再写入:
   if not q.full():
       q.put_nowait("消息4")

运行结果如图所示:

Python通过队列实现进程间通信详情

四、使用队列在进程间通信

我们知道使用multiprocessing.Process可以创建多进程,使用multiprocessing.Queue可以实现队列的操作。接下来,通过一个示例结合Process和Queue实现进程间的通信。

创建2个子进程,一个子进程负责向队列中写入数据,另外一个子进程负责从队列中读取数据。为了保证能够正确从队列中读取数据,设置读取数据的进程等待时间为2秒。如果2秒后乃然无法读取数据,则抛出异常。

代码如下:

# _*_ coding:utf-8 _*_
from multiprocessing import Process, Queue
import time
# 向队列中写入数据
def write_task(q):
   if not q.full():
       for i in range(5):
           message = "消息" + str(i)
           q.put(message)
           print("写入:%s" % message)
# 从队列中读取数据
def read_task(q):
   time.sleep(1)  # 休眠1秒
   while not q.empty():
       print("读取:%s" % q.get(True, 2))  # 等待2秒中,如果没有读取到任何信息,则抛出异常
if __name__ == "__main__":
   print("--------父进程开始---------")
   q = Queue()  # 父进程创建Queue,并传给各个子进程
   pw = Process(target=write_task, args=(q,))  # 实例化写入队列的子进程,并传递给队列
   pr = Process(target=read_task, args=(q,))  # 实例化读取队列的子进程,并传递给队列
   pw.start()  # 启动子进程pw,写入
   pr.start()  # 启动子进程pr,读取
   pw.join()  # 等待pw结束
   pr.join()  # 等待pr结束
   print("-------父进程结束-----------")

运行结果如下:

Python通过队列实现进程间通信详情

来源:https://blog.csdn.net/weixin_45191386/article/details/125288373

标签:Python,队列,进程,通信
0
投稿

猜你喜欢

  • Dojo Style Javascript 编程规范

    2007-10-25 17:24:00
  • pycharm中django框架连接mysql数据库的方法

    2024-01-25 18:52:28
  • python实现超市管理系统(后台管理)

    2022-08-17 06:50:22
  • python之json文件转xml文件案例讲解

    2021-11-18 04:54:23
  • Python中的axis参数的具体使用

    2021-06-14 19:42:53
  • 使用matplotlib创建Gif动图的实现

    2021-03-09 11:32:02
  • 如何基于python对接钉钉并获取access_token

    2023-11-27 04:25:07
  • PHP 获取远程网页内容的代码(fopen,curl已测)

    2024-05-05 09:17:59
  • MySQL中KEY、PRIMARY KEY、UNIQUE KEY、INDEX 的区别

    2024-01-16 00:47:29
  • PHP convert_uudecode()函数讲解

    2023-06-12 15:53:51
  • Python实现GUI学生信息管理系统

    2022-03-19 19:35:36
  • anaconda创建、查看、激活与删除虚拟环境指令总结

    2023-04-09 13:01:23
  • vue.js使用v-if实现显示与隐藏功能示例

    2024-05-02 16:59:50
  • Python基于checksum计算文件是否相同的方法

    2022-11-08 20:30:48
  • python内置函数:lambda、map、filter简单介绍

    2021-06-06 02:06:01
  • Python使用pyexecjs代码案例解析

    2021-11-13 13:06:43
  • Go语言实现一个简单的并发聊天室的项目实战

    2024-02-15 03:40:33
  • 深入解析Python编程中super关键字的用法

    2021-08-24 18:17:10
  • 2022最新版MySQL 8.0.30 安装及配置教程(小白入门)

    2024-01-28 16:49:49
  • Phar反序列化超详细介绍

    2023-06-05 07:06:02
  • asp之家 网络编程 m.aspxhome.com