Python通过队列实现进程间通信详情

目录
  • 一、前言
  • 二、队列简介
  • 三、多进程队列的使用
  • 四、使用队列在进程间通信

一、前言

在多进程中,每个进程之间是什么关系呢?其实每个进程都有自己的地址空间、内存、数据栈以及其他记录其运行状态的辅助数据。下面通过一个例子,验证一下进程之间能否直接共享信息。

定义一个全局变量g_num,分别创建2个子进程对g_num执行不同的操作,并输出操作后的结果。

代码如下:

# _*_ coding:utf-8 _*_
from multiprocessing import Process
def plus():
    print("-------子进程1开始----------")
    global g_num
    g_num += 50
    print("g_num is %d" % g_num)
    print("-------子进程1结束----------")
def minus():
    print("-------子进程2开始----------")
    global g_num
    g_num -= 50
    print("g_num is %d" % g_num)
    print("-------子进程2结束----------")
g_num = 100  # 定义一个全局变量
if __name__ == "__main__":
    print("-------主进程开始----------")
    print("g_num is %d" % g_num)
    p1 = Process(target=plus)  # 实例化进程p1
    p2 = Process(target=minus)  # 实例化进程p2
    p1.start()  # 开启p1进程
    p2.start()  # 开启p2进程
    p1.join()  # 等待p1进程结束
    p2.join()  # 等待p2进程结束
    print("-------主进程结束----------")

运行结果如图所示:

上述代码中,分别创建了2个子进程,一个子进程中令g_num加上50,另一个子进程令g_num减去50。但是从运行结果可以看出来,g_num在父进程和2个子进程中的初始值都是100。也就是全局变量g_num在一个进程中的结果,没有传到下一个进程中,即进程之间没有共享信息。

进程间示意图如图所示:

要如何才能实现进程间的通信呢?Python的multiprocessing模块包装了底层的机制,提供了Queue(队列)、Pipes(管道)等多种方式来交换数据。本文将讲解通过队列(Queue)来实现进程间的通信。

二、队列简介

队列(Queue)就是模型仿现实中的排队。例如学生在食堂排队买饭。新来的学生排队到队伍最后,最前面的学生买完饭走开,后面的学生跟上。

可以看出队列有两个特点:

  • 新来的学生都排在队尾。
  • 最前的学生完成后离队,后面一个跟上。

根据以上特点,可以归纳出队列的结构如图所示:

三、多进程队列的使用

进程之间有时需要通信,操作系统提供了很多机制来实现进程间的通信。可以使用multiprocessing模块的Queue实现多进程之间的数据传递。Queue本身是一个消息队列程序,下面介绍一下Queue的使用。

初始化Queue()对象时(例如:q=Queue(num)),若括号中没有指定最大可接收的消息数量,或数量为负值,那么就代表可接收的消息数量没有上限(直到内存的尽头)。

Queue的常用方法如下:

Queue.qsize():返回当前队列包含的消息数量。Queue.empty():如果队列为空,返回True;返之返回False。Queue.full():如果队列满了,返回True;反之返回False。Queue.get(block[,timeout]):获取队列中的一条信息,然后将其从队列中移除,block默认值为True。

如果block使用默认值,且没有设置timeout(单位秒),消息队列为空,此时程序将被阻塞(停在读取状态),直到从消息队列读到消息为止。如果设置了timeout,则会等待timeout秒,若还没有读取任何消息,则抛出“Queue.Empty”异常。

如果block值为False,消息队列为空,则会立刻抛出“Queue.Empty”异常。

Queue.get_nowait():相当于Queue.get(False)。Queue.put(item,[block[,timeout]]):将item消息写入队列,block默认值为True。

如果block使用默认值,且没有设置timeout(单位秒),消息队列如果已经没有空间可以写入,此时程序将被阻塞(停在写入状态),直到从消息队列腾出空间为止,如果设置了timeout,则会等待timeout秒,若还没有空间,则抛出“Queue.Full”异常。

如果block值为False,消息队列没有空间可写入,则会立刻抛出“Queue.Full”异常

Queue.put_nowait(item):相当Queue.put(item,False)。

下面,通过一个例子学习一下如何使用processing.Queue。

代码如下:

# _*_ coding:utf-8 _*_
from multiprocessing import Queue
if __name__ == "__main__":
    q = Queue(3)
    q.put("消息1")
    q.put("消息2")
    print(q.full())  # 返回False
    q.put("消息3")
    print(q.full())  # 返回True
    # 因为消息队列已满,下面的try都会抛出异常
    # 第一个try会等待2秒再抛出异常,第二个try会立刻抛出异常
    try:
        q.put("消息4", True, 2)
    except:
        print("消息队列已满,现有消息数量:%s" % q.qsize())

    try:
        q.put_nowait("消息4")
    except:
        print("消息队列已满,现有消息数量:%s" % q.qsize())

    # 读取消息时,先判断消息队列是否为空,再读取
    if not q.empty():
        print("-----从队列中获取消息-------")
        for i in range(q.qsize()):
            print(q.get_nowait())
    # 先判读消息队列是否已满,再写入:
    if not q.full():
        q.put_nowait("消息4")

运行结果如图所示:

四、使用队列在进程间通信

我们知道使用multiprocessing.Process可以创建多进程,使用multiprocessing.Queue可以实现队列的操作。接下来,通过一个示例结合Process和Queue实现进程间的通信。

创建2个子进程,一个子进程负责向队列中写入数据,另外一个子进程负责从队列中读取数据。为了保证能够正确从队列中读取数据,设置读取数据的进程等待时间为2秒。如果2秒后乃然无法读取数据,则抛出异常。

代码如下:

# _*_ coding:utf-8 _*_
from multiprocessing import Process, Queue
import time
# 向队列中写入数据
def write_task(q):
    if not q.full():
        for i in range(5):
            message = "消息" + str(i)
            q.put(message)
            print("写入:%s" % message)
# 从队列中读取数据
def read_task(q):
    time.sleep(1)  # 休眠1秒
    while not q.empty():
        print("读取:%s" % q.get(True, 2))  # 等待2秒中,如果没有读取到任何信息,则抛出异常
if __name__ == "__main__":
    print("--------父进程开始---------")
    q = Queue()  # 父进程创建Queue,并传给各个子进程
    pw = Process(target=write_task, args=(q,))  # 实例化写入队列的子进程,并传递给队列
    pr = Process(target=read_task, args=(q,))  # 实例化读取队列的子进程,并传递给队列
    pw.start()  # 启动子进程pw,写入
    pr.start()  # 启动子进程pr,读取
    pw.join()  # 等待pw结束
    pr.join()  # 等待pr结束
    print("-------父进程结束-----------")

运行结果如下:

到此这篇关于Python通过队列实现进程间通信详情的文章就介绍到这了,更多相关Python进程间通信 内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • Python通过队列来实现进程间通信的示例

    Python程序中,在进程和进程之间是不共享全局变量的数据的. 我们来看一个例子: from multiprocessing import Process import os import time nums = [11, 22] def work1(): """子进程要执行的代码""" print("in process1 pid=%d ,nums=%s" % (os.getpid(), nums)) for i in ra

  • Python队列、进程间通信、线程案例

    进程互斥锁 多进程同时抢购余票 # 并发运行,效率高,但竞争写同一文件,数据写入错乱 # data.json文件内容为 {"ticket_num": 1} import json import time from multiprocessing import Process def search(user): with open('data.json', 'r', encoding='utf-8') as f: dic = json.load(f) print(f'用户{user}查看

  • Python进程间通信Queue消息队列用法分析

    本文实例讲述了Python进程间通信Queue消息队列用法.分享给大家供大家参考,具体如下: 进程间通信-Queue Process之间有时需要通信,操作系统提供了很多机制来实现进程间的通信. 1. Queue的使用 可以使用multiprocessing模块的Queue实现多进程之间的数据传递,Queue本身是一个消息列队程序,首先用一个小实例来演示下Queue的工作原理: 代码如下: #coding=utf-8 from multiprocessing import Queue #初始化一个

  • Python进程间通信 multiProcessing Queue队列实现详解

    一.进程间通信 IPC(Inter-Process Communication) IPC机制:实现进程之间通讯 管道:pipe 基于共享的内存空间 队列:pipe+锁的概念--->queue 二.队列(Queue) 2.1 概念-----multiProcess.Queue 创建共享的进程队列,Queue是多进程安全的队列,可以使用Queue实现多进程之间的数据传递. Queue([maxsize])创建共享的进程队列. 参数 :maxsize是队列中允许的最大项数.如果省略此参数,则无大小限制

  • Python通过队列实现进程间通信详情

    目录 一.前言 二.队列简介 三.多进程队列的使用 四.使用队列在进程间通信 一.前言 在多进程中,每个进程之间是什么关系呢?其实每个进程都有自己的地址空间.内存.数据栈以及其他记录其运行状态的辅助数据.下面通过一个例子,验证一下进程之间能否直接共享信息. 定义一个全局变量g_num,分别创建2个子进程对g_num执行不同的操作,并输出操作后的结果. 代码如下: # _*_ coding:utf-8 _*_ from multiprocessing import Process def plus

  • python执行子进程实现进程间通信的方法

    本文实例讲述了python执行子进程实现进程间通信的方法.分享给大家供大家参考.具体实现方法如下: a.py: import subprocess, time subproc = subprocess.Popen(['c:\python31\python.exe', 'c:/b.py'], stdin=subprocess.PIPE, shell=True) time.sleep(0.5) print('start') subproc.stdin.write('data\n') subproc.

  • Python实现队列的方法

    本文实例讲述了Python实现队列的方法.分享给大家供大家参考.具体实现方法如下: #!/usr/bin/env python queue = [] def enQ(): queue.append(raw_input('Enter new string: ').strip()) #调用list的列表的pop()函数.pop(0)为列表的第一个元素 def deQ(): if len(queue) == 0: print 'Cannot pop from an empty queue!' else

  • Linux消息队列实现进程间通信实例详解

    Linux消息队列实现进程间通信实例详解 一.什么是消息队列 消息队列提供了一种从一个进程向另一个进程发送一个数据块的方法.  每个数据块都被认为含有一个类型,接收进程可以独立地接收含有不同类型的数据结构.我们可以通过发送消息来避免命名管道的同步和阻塞问题.但是消息队列与命名管道一样,每个数据块都有一个最大长度的限制. Linux用宏MSGMAX和MSGMNB来限制一条消息的最大长度和一个队列的最大长度. 二.在Linux中使用消息队列 Linux提供了一系列消息队列的函数接口来让我们方便地使用

  • Python tornado队列示例-一个并发web爬虫代码分享

    Queue Tornado的tornado.queue模块为基于协程的应用程序实现了一个异步生产者/消费者模式的队列.这与python标准库为多线程环境实现的queue模块类似. 一个协程执行到yieldqueue.get会暂停,直到队列中有条目.如果queue有上限,一个协程执行yieldqueue.put将会暂停,直到队列中有空闲的位置. 在一个queue内部维护了一个未完成任务的引用计数,每调用一次put操作便会增加引用计数,而调用task_done操作将会减少引用计数. 下面是一个简单的

  • Python queue队列原理与应用案例分析

    本文实例讲述了Python queue队列原理与应用.分享给大家供大家参考,具体如下: 作用: 解耦:使程序直接实现松耦合,修改一个函数,不会有串联关系. 提高处理效率:FIFO = 现进先出,LIFO = 后入先出. 队列: 队列可以并发的派多个线程,对排列的线程处理,并切每个需要处理线程只需要将请求的数据放入队列容器的内存中,线程不需要等待,当排列完毕处理完数据后,线程在准时来取数据即可.请求数据的线程只与这个队列容器存在关系,处理数据的线程down掉不会影响到请求数据的线程,队列会派给其他

  • python 多进程队列数据处理详解

    我就废话不多说了,直接上代码吧! # -*- coding:utf8 -*- import paho.mqtt.client as mqtt from multiprocessing import Process, Queue import time, random, os import camera_person_num MQTTHOST = "172.19.4.4" MQTTPORT = 1883 mqttClient = mqtt.Client() q = Queue() # 连

  • Python实现队列的方法示例小结【数组,链表】

    本文实例讲述了Python实现队列的方法.分享给大家供大家参考,具体如下: Python实现队列 队列(FIFO),添加元素在队列尾,删除元素在队列头操作 列表实现队列:利用python列表方法 代码如下: # 列表实现队列 class listQueue(object): def __init__(self): self.items = [] def is_empty(self): return self.items == None def size(self): return len(sel

  • Python中的for循环详情

    目录 1.可迭代对象 1.1什么是可迭代对象 1.2怎么判断 2.字符串的for循环 3.列表的for循环 4.元组的for循环 5.字典的for循环 5.1keys() 5.2 values() 5.3 items() 6.range函数的for循环 6.1基础案例 6.2找出100以内能够被5整除的数 6.3高斯求和 7.多个for语句 8.列表推导式 9.for-else 10.实现三角阵列 11.99乘法表 for语句实际上解决的是循环问题.在很多的高级语言中都有for循环(for lo

随机推荐

其他