当前位置 主页 > 网站技术 > 代码类 >

    Python高级编程之消息队列(Queue)与进程池(Pool)实例详解

    栏目:代码类 时间:2019-11-01 12:07

    本文实例讲述了Python高级编程之消息队列(Queue)与进程池(Pool)。分享给大家供大家参考,具体如下:

    Queue消息队列

    1.创建

    import multiprocessing
    queue = multiprocessing.Queue(队列长度)

    2.方法

    方法 描述
    put 变量名.put(数据),放入数据(如队列已满,则程序进入阻塞状态,等待队列取出后再放入)
    put_nowait 变量名.put_nowati(数据),放入数据(如队列已满,则不等待队列信息取出后再放入,直接报错)
    get 变量名.get(数据),取出数据(如队列为空,则程序进入阻塞状态,等待队列防如数据后再取出)
    get_nowait 变量名.get_nowait(数据),取出数据(如队列为空,则不等待队列放入信息后取出数据,直接报错),放入数据后立马判断是否为空有时为True,原因是放入值和判断同时进行
    qsize 变量名.qsize(),消息数量
    empty 变量名.empty()(返回值为True或False),判断是否为空
    full 变量名.full()(返回值为True或False),判断是否为满

    3.进程通信

    因为进程间不共享全局变量,所以使用Queue进行数据通信,可以在父进程中创建两个字进程,一个往Queue里写数据,一个从Queue里取出数据。
    例:

    import multiprocessing
    import time
    def write_queue(queue):
      # 循环写入数据
      for i in range(10):
        if queue.full():
          print("队列已满!")
          break
        # 向队列中放入消息
        queue.put(i)
        print(i)
        time.sleep(0.5)
    def read_queue(queue):
      # 循环读取队列消息
      while True:
        # 队列为空,停止读取
        if queue.empty():
          print("---队列已空---")
          break
        # 读取消息并输出
        result = queue.get()
        print(result)
    if __name__ == '__main__':
      # 创建消息队列
      queue = multiprocessing.Queue(3)
      # 创建子进程
      p1 = multiprocessing.Process(target=write_queue, args=(queue,))
      p1.start()
      # 等待p1写数据进程执行结束后,再往下执行
      p1.join()
      p1 = multiprocessing.Process(target=read_queue, args=(queue,))
      p1.start()
    
    

    执行结果:

    Pool进程池

    初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务。

    1.创建

    import multiprocessing
    pool = multiprocessing.Pool(最大进程数)

    2.方法

    方法 描述
    apply() 以同步方式添加进程
    apply_async() 以异步方式添加进程
    close() 关闭Pool,使其不接受新任务(还可以使用)
    terminate() 不管任务是否完成,立即终止
    join() 主进程阻塞,等待子进程的退出,必须在close和terminate后使用