進程中的Queue

進程間通信-Queue

Process之間有時需要通信，操作系統提供了很多機制來實現進程間的通信。

1. Queue的使用

可以使用multiprocessing模塊的Queue實現多進程之間的數據傳遞，Queue本身是一個消息列隊程序，首先用一個小實例來演示一下Queue的工作原理：

#coding=utf-8
from multiprocessing import Queue
q=Queue(3) #初始化一個Queue對象，最多可接收三條put消息
q.put("消息1") 
q.put("消息2")
print(q.full())  #False
q.put("消息3")
print(q.full()) #True

#因爲消息列隊已滿下面的try都會拋出異常，第一個try會等待2秒後再拋出異常，第二個Try會立刻拋出異常
try:
    q.put("消息4",True,2)
except:
    print("消息列隊已滿，現有消息數量:%s"%q.qsize())

try:
    q.put_nowait("消息4")
except:
    print("消息列隊已滿，現有消息數量:%s"%q.qsize())

#推薦的方式，先判斷消息列隊是否已滿，再寫入
if not q.full():
    q.put_nowait("消息4")

#讀取消息時，先判斷消息列隊是否爲空，再讀取
if not q.empty():
    for i in range(q.qsize()):
        print(q.get_nowait())

運行結果:

False
True
消息列隊已滿，現有消息數量:3
消息列隊已滿，現有消息數量:3
消息1
消息2
消息3

說明

初始化Queue()對象時（例如：q=Queue()），若括號中沒有指定最大可接收的消息數量，或數量爲負值，那麼就代表可接受的消息數量沒有上限（直到內存的盡頭）；

• Queue.qsize()：返回當前隊列包含的消息數量；

• Queue.empty()：如果隊列爲空，返回True，反之False ；

• Queue.full()：如果隊列滿了，返回True,反之False；

• Queue.get([block[, timeout]])：獲取隊列中的一條消息，然後將其從列隊中移除，block默認值爲True；

1）如果block使用默認值，且沒有設置timeout（單位秒），消息列隊如果爲空，此時程序將被阻塞（停在讀取狀態），直到從消息列隊讀到消息爲止，如果設置了timeout，則會等待timeout秒，若還沒讀取到任何消息，則拋出"Queue.Empty"異常；

2）如果block值爲False，消息列隊如果爲空，則會立刻拋出"Queue.Empty"異常；

• Queue.get_nowait()：相當Queue.get(False)；

• Queue.put(item,[block[, timeout]])：將item消息寫入隊列，block默認值爲True；

1）如果block使用默認值，且沒有設置timeout（單位秒），消息列隊如果已經沒有空間可寫入，此時程序將被阻塞（停在寫入狀態），直到從消息列隊騰出空間爲止，如果設置了timeout，則會等待timeout秒，若還沒空間，則拋出"Queue.Full"異常；

2）如果block值爲False，消息列隊如果沒有空間可寫入，則會立刻拋出"Queue.Full"異常；

• Queue.put_nowait(item)：相當Queue.put(item, False)；

2. Queue實例

我們以Queue爲例，在父進程中創建兩個子進程，一個往Queue裏寫數據，一個從Queue裏讀數據：

from multiprocessing import Process, Queue
import os, time, random

# 寫數據進程執行的代碼:
def write(q):
    for value in ['A', 'B', 'C']:
        print('Put %s to queue...' % value)
        q.put(value)
        time.sleep(random.random())

# 讀數據進程執行的代碼:
def read(q):
    while True:
        if not q.empty():
            value = q.get(True)
            print('Get %s from queue.' % value)
            time.sleep(random.random())
        else:
            break

if __name__=='__main__':
    # 父進程創建Queue，並傳給各個子進程：
    q = Queue()
    pw = Process(target=write, args=(q,))
    pr = Process(target=read, args=(q,))
    # 啓動子進程pw，寫入:
    pw.start()    
    # 等待pw結束:
    pw.join()
    # 啓動子進程pr，讀取:
    pr.start()
    pr.join()
    # pr進程裏是死循環，無法等待其結束，只能強行終止:
    print('')
    print('所有數據都寫入並且讀完')