社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

Python并行编程(九):多进程对象交换之pipe(管道)实现生产者-消费者模型

若数 • 6 年前 • 473 次点击  
阅读 7

Python并行编程(九):多进程对象交换之pipe(管道)实现生产者-消费者模型

什么是管道?

Pipe常用来在两个进程间进行通信,两个进程分别位于管道的两端。 Pipe方法返回(conn1,conn2)代表一个管道的两个端,Pipe方法有duplex参数,如果duplex参数为True(默认值),那么这个管道是全双工模式,也就是说conn1conn2均可收发,若duplex为False,conn1只负责接收消息,conn2只负责发送消息。send和recv方法分别是发送和接收消息的方法。例如,在全双工模式下,可以调用conn1.send发送消息,conn1.recv接收消息。如果没有消息可接收,recv方法会一直阻塞。如果管道已经被关闭,那么recv方法会抛出EOFError.

生产者-消费者模型

即我们也可以利用管道的特性实现生产者-消费者模型:


import multiprocessing

import random

import time
import os


def producer(pipe):

    while True:
        time.sleep(1)
        item = random.randint(1, 10)
        print('process producer product goods:{}'.format(item))
        pipe.send(item)
        time.sleep(1)


def consumer(pipe):

    while True:
        time.sleep(1)
        item = pipe.recv()
        print('process cusumer get goods:{}'.format(item))
        time.sleep(1)


if __name__ == "__main__":

    pipe = multiprocessing.Pipe()

    process_producer = multiprocessing.Process(
        target=producer, args=(pipe[0],))

    process_consumer = multiprocessing.Process(
        target=consumer, args=(pipe[1],))

    process_producer.start()
    process_consumer.start()

    process_producer.join()
    process_consumer.join()

复制代码

运行截图如下:

运行结果
可以看到,管道是类似于文件读写,只是字节流的读写,多个共用很容易就受干扰,官方文档有过明确给出即进程若进程频繁的读写操作通过访问管道方式实现,容易出现错误。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/31715
 
473 次点击