python實現多進程_multiprocessing

使用multiprocessing模塊來進行python的多進程編程。個人習慣使用類來繼承原始的Process類進行處理，以下是模板，供以後拷貝使用。

#!/usr/bin/env python
# -*- coding:utf8 -*-

import os, os.path
import time
from multiprocessing import Process, cpu_count


class myProcess(Process):
    def __init__(self, *argus, **keywords):
        # argus 和 keywords中可以包括函數名等特殊類，不僅僅是字符串，數字，序列等常見數據類型
        Process.__init__(self)
        self.argus = argus
        self.keywords = keywords


    def run(self):
        # 時間統計功能最好在run內實現。該函數內實現子進程的操作。
        start_time = time.time()
        print ("Proc %d start: %s" % (self.proc_seq, time.ctime(start_time)))

        # 以下是自己的核心代碼，即你希望該進程做任務，是批量任務的模板
        
        # 個人核心代碼結束
        
        end_time = time.time()
        dur = end_time - start_time
        print ("Proc %d end: %s, Total time: %.2f" % (self.proc_seq, time.ctime(end_time), dur))
    
if __name__ == "__main__":
    import logging
    import sys
    logger = logging.getLogger()
    formatter = logging.Formatter('[%(filename)s:%(lineno)d] - [%(asctime)s] : *%(levelname)s* | (%(funcName)s) %(message)s', '%Y-%m-%d %H:%M:%S',)
    stream_handler = logging.StreamHandler()
    stream_handler.setFormatter(formatter)
    logger.addHandler(stream_handler)
    file_handler = logging.FileHandler(os.path.splitext(os.path.abspath(__file__))[0]+".log", 'w')
    file_handler.setFormatter(formatter)
    logger.addHandler(file_handler)
    logger.setLevel(logging.INFO)

    from optparse import OptionParser
    optparser = OptionParser()
    optparser.add_option('-i', "--input", dest="input", action="store", default=None, help="please input the input file/foldername")
    #optparser.add_option('-o', "--output", dest="output", action="store", default=None, help="please input the output folder name")

    options, args = optparser.parse_args()
    if len(args) != 0:
        print "wrong arguments format!"
        sys.exit(-1)

    if options.input == None:
        print "you have to give input or output folder or filenames!\nUsage: python maxmatch12r.py -i inputfolder/file -o outputfolder"
        sys.exit(-1)


    # 構建等於cpu核心個數的進程進行處理
    core_num = cpu_count()
    
    # 個人代碼，準備好不同數目子進程的參數
    argus_list = []
    keywords_list = []
    
    # 首先，創建子進程，但是不開始運行
    threads = []
    for iproc in xrange(len(argus_list):
        cur_proc = myProcess(iproc, argus_list[iproc], keywords_list[iproc])
        threads.append(cur_proc)

    # 創建好所有子進程後，再開始逐個運行
    for iproc in threads:
        iproc.start()

    # 所有子進程都運行後，在進行父進程阻斷
    for iproc in threads:
        iproc.join()
    
    # 所有子進程完成後，回到父進程
    logger.info("Done!")

經驗是以下幾點：

1. 把要讓子進程做的事情，都寫在run函數內，父進程就只管提供數據和代碼即可。

2. 父進程調用子進程的步驟是：首先，創建所有的子進程；其次，逐個調用所有的子進程，不允許有其他操作（因爲會被阻塞）；最後，逐個調用join函數對父進程進行阻塞，保證子進程都運行完畢後再運行父進程。