本文实例讲述了Python高级编程之消息队列(Queue)与进程池(Pool)。分享给大家供大家参考,具体如下:
Queue消息队列
1.创建
import multiprocessing queue = multiprocessing.Queue(队列长度)
2.方法
方法 | 描述 |
---|---|
put | 变量名.put(数据),放入数据(如队列已满,则程序进入阻塞状态,等待队列取出后再放入) |
put_nowait | 变量名.put_nowati(数据),放入数据(如队列已满,则不等待队列信息取出后再放入,直接报错) |
get | 变量名.get(数据),取出数据(如队列为空,则程序进入阻塞状态,等待队列防如数据后再取出) |
get_nowait | 变量名.get_nowait(数据),取出数据(如队列为空,则不等待队列放入信息后取出数据,直接报错),放入数据后立马判断是否为空有时为True,原因是放入值和判断同时进行 |
qsize | 变量名.qsize(),消息数量 |
empty | 变量名.empty()(返回值为True或False),判断是否为空 |
full | 变量名.full()(返回值为True或False),判断是否为满 |
3.进程通信
因为进程间不共享全局变量,所以使用Queue进行数据通信,可以在父进程中创建两个字进程,一个往Queue里写数据,一个从Queue里取出数据。
例:
import multiprocessing import time def write_queue(queue): # 循环写入数据 for i in range(10): if queue.full(): print("队列已满!") break # 向队列中放入消息 queue.put(i) print(i) time.sleep(0.5) def read_queue(queue): # 循环读取队列消息 while True: # 队列为空,停止读取 if queue.empty(): print("---队列已空---") break # 读取消息并输出 result = queue.get() print(result) if __name__ == '__main__': # 创建消息队列 queue = multiprocessing.Queue(3) # 创建子进程 p1 = multiprocessing.Process(target=write_queue, args=(queue,)) p1.start() # 等待p1写数据进程执行结束后,再往下执行 p1.join() p1 = multiprocessing.Process(target=read_queue, args=(queue,)) p1.start()
执行结果:
Pool进程池
初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务。
1.创建
import multiprocessing pool = multiprocessing.Pool(最大进程数)
2.方法
方法 | 描述 |
---|---|
apply() | 以同步方式添加进程 |
apply_async() | 以异步方式添加进程 |
close() | 关闭Pool,使其不接受新任务(还可以使用) |
terminate() | 不管任务是否完成,立即终止 |
join() | 主进程阻塞,等待子进程的退出,必须在close和terminate后使用 |