python logging日誌模塊

 

Python日誌輸出——logging模塊

分類: python 194人閱讀 評論(0) 收藏 舉報

1. logging介紹

        Python的logging模塊提供了通用的日誌系統,可以方便第三方模塊或者是應用使用。這個模塊提供不同的日誌級別,並可以採用不同的方式記錄日 志,比如文件,HTTP GET/POST,SMTP,Socket等,甚至可以自己實現具體的日誌記錄方式。

        logging模塊與log4j的機制是一樣的,只是具體的實現細節不同。模塊提供logger,handler,filter,formatter。

        logger:提供日誌接口,供應用代碼使用。logger最長用的操作有兩類:配置和發送日誌消息。可以通過 logging.getLogger(name)獲取logger對象,如果不指定name則返回root對象,多次使用相同的name調用 getLogger方法返回同一個logger對象。

        handler:將日誌記錄(log record)發送到合適的目的地(destination),比如文件,socket等。一個logger對象可以通過addHandler方法添加0 到多個handler,每個handler又可以定義不同日誌級別,以實現日誌分級過濾顯示。

        filter:提供一種優雅的方式決定一個日誌記錄是否發送到handler。

        formatter:指定日誌記錄輸出的具體格式。formatter的構造方法需要兩個參數:消息的格式字符串和日期字符串,這兩個參數都是可選的。

        與log4j類似,logger,handler和日誌消息的調用可以有具體的日誌級別(Level),只有在日誌消息的級別大於logger和handler的級別。

  1. import logging  
  2. import logging.handlers  
  3.   
  4. LOG_FILE = 'tst.log'  
  5.   
  6. handler = logging.handlers.RotatingFileHandler(LOG_FILE, maxBytes = 1024*1024, backupCounts = 5# 實例化handler   
  7. fmt = '%(asctime)s - %(filename)s:%(lineno)s - %(name)s - %(message)s'  
  8.   
  9. formatter = logging.Formatter(fmt)   # 實例化formatter  
  10. handler.setFormatter(formatter)      # 爲handler添加formatter  
  11.   
  12. logger = logging.getLogger('tst')    # 獲取名爲tst的logger  
  13. logger.addHandler(handler)           # 爲logger添加handler  
  14. logger.setLevel(logging.DEBUG)  
  15.   
  16. logger.info('first info message')  
  17. logger.debug('first debug message')  

        輸出:

  1. 2012-03-04 23:21:59,682 - log_test.py:16 - tst - first info message   
  2. 2012-03-04 23:21:59,682 - log_test.py:17 - tst - first debug message  

        關於formatter的配置,採用的是%(<dict key>)s的形式,就是字典的關鍵字替換。提供的關鍵字包括:

 

Format Description
%(name)s Name of the logger (logging channel).
%(levelno)s Numeric logging level for the message (DEBUGINFOWARNINGERRORCRITICAL).
%(levelname)s Text logging level for the message ('DEBUG''INFO''WARNING''ERROR''CRITICAL').
%(pathname)s Full pathname of the source file where the logging call was issued (if available).
%(filename)s Filename portion of pathname.
%(module)s Module (name portion of filename).
%(funcName)s Name of function containing the logging call.
%(lineno)d Source line number where the logging call was issued (if available).
%(created)f Time when the LogRecord was created (as returned by time.time()).
%(relativeCreated)d Time in milliseconds when the LogRecord was created, relative to the time the logging module was loaded.
%(asctime)s Human-readable time when the LogRecord was created. By default this is of the form “2003-07-08 16:49:45,896” (the numbers after the comma are millisecond portion of the time).
%(msecs)d Millisecond portion of the time when the LogRecord was created.
%(thread)d Thread ID (if available).
%(threadName)s Thread name (if available).
%(process)d Process ID (if available).
%(message)s The logged message, computed as msg % args.

        這個是摘自官網,提供了很多信息。

2. logging的配置

        logging的配置可以採用python代碼或是配置文件。python代碼的方式就是在應用的主模塊中,構建 handler,handler,formatter等對象。而配置文件的方式是將這些對象的依賴關係分離出來放在文件中。比如前面的例子就類似於 python代碼的配置方式。這裏看一下采用配置文件的方式。

  1. import logging  
  2. import logging.config  
  3.   
  4. logging.config.fileConfig("logging.conf")    # 採用配置文件  
  5.   
  6. # create logger  
  7. logger = logging.getLogger("simpleExample")  
  8.   
  9. # "application" code  
  10. logger.debug("debug message")  
  11. logger.info("info message")  
  12. logger.warn("warn message")  
  13. logger.error("error message")  
  14. logger.critical("critical message")  

        loggin.conf採用了模式匹配的方式進行配置,正則表達式是r'^[(.*)]$',從而匹配出所有的組件。對於同一個組件具有多個實例的情況使 用逗號‘,’進行分隔。對於一個實例的配置採用componentName_instanceName配置塊。使用這種方式還是蠻簡單的。

  1. [loggers]  
  2. keys=root,simpleExample  
  3.   
  4. [handlers]  
  5. keys=consoleHandler  
  6.   
  7. [formatters]  
  8. keys=simpleFormatter  
  9.   
  10. [logger_root]  
  11. level=DEBUG  
  12. handlers=consoleHandler  
  13.   
  14. [logger_simpleExample]  
  15. level=DEBUG  
  16. handlers=consoleHandler  
  17. qualname=simpleExample  
  18. propagate=0  
  19.   
  20. [handler_consoleHandler]  
  21. class=StreamHandler  
  22. level=DEBUG  
  23. formatter=simpleFormatter  
  24. args=(sys.stdout,)  
  25.   
  26. [formatter_simpleFormatter]  
  27. format=%(asctime)s - %(name)s - %(levelname)s - %(message)s  
  28. datefmt=  

        在指定handler的配置時,class是具體的handler類的類名,可以是相對logging模塊或是全路徑類名,比如需要 RotatingFileHandler,則class的值可以爲:RotatingFileHandler或者 logging.handlers.RotatingFileHandler。args就是要傳給這個類的構造方法的參數,就是一個元組,按照構造方法聲 明的參數的順序。

        輸出:

  1. 2012-03-06 00:09:35,713 - simpleExample - DEBUG - debug message  
  2. 2012-03-06 00:09:35,713 - simpleExample - INFO - info message  
  3. 2012-03-06 00:09:35,714 - simpleExample - WARNING - warn message  
  4. 2012-03-06 00:09:35,714 - simpleExample - ERROR - error message  
  5. 2012-03-06 00:09:35,714 - simpleExample - CRITICAL - critical message  

        這裏還要明確一點,logger對象是有繼承關係的,比如名爲a.b和a.c的logger都是名爲a的子logger,並且所有的logger對象都繼 承於root。如果子對象沒有添加handler等一些配置,會從父對象那繼承。這樣就可以通過這種繼承關係來複用配置。

3. 多模塊使用logging

        logging模塊保證在同一個python解釋器內,多次調用logging.getLogger('log_name')都會返回同一個logger 實例,即使是在多個模塊的情況下。所以典型的多模塊場景下使用logging的方式是在main模塊中配置logging,這個配置會作用於多個的子模 塊,然後在其他模塊中直接通過getLogger獲取Logger對象即可。

        這裏使用上面配置文件:

  1. [loggers]  
  2. keys=root,main  
  3.   
  4. [handlers]  
  5. keys=consoleHandler,fileHandler  
  6.   
  7. [formatters]  
  8. keys=fmt  
  9.   
  10. [logger_root]  
  11. level=DEBUG  
  12. handlers=consoleHandler  
  13.   
  14. [logger_main]  
  15. level=DEBUG  
  16. qualname=main  
  17. handlers=fileHandler  
  18.   
  19. [handler_consoleHandler]  
  20. class=StreamHandler  
  21. level=DEBUG  
  22. formatter=fmt  
  23. args=(sys.stdout,)  
  24.   
  25. [handler_fileHandler]  
  26. class=logging.handlers.RotatingFileHandler  
  27. level=DEBUG  
  28. formatter=fmt  
  29. args=('tst.log','a',20000,5,)  
  30.   
  31. [formatter_fmt]  
  32. format=%(asctime)s - %(name)s - %(levelname)s - %(message)s  
  33. datefmt=  

        主模塊main.py:

  1. import logging  
  2. import logging.config  
  3.   
  4. logging.config.fileConfig('logging.conf')  
  5. root_logger = logging.getLogger('root')  
  6. root_logger.debug('test root logger...')  
  7.   
  8. logger = logging.getLogger('main')  
  9. logger.info('test main logger')  
  10. logger.info('start import module \'mod\'...')  
  11. import mod  
  12.   
  13. logger.debug('let\'s test mod.testLogger()')  
  14. mod.testLogger()  
  15.   
  16. root_logger.info('finish test...')  

        子模塊mod.py:

  1. import logging  
  2. import submod  
  3.   
  4. logger = logging.getLogger('main.mod')  
  5. logger.info('logger of mod say something...')  
  6.   
  7. def testLogger():  
  8.     logger.debug('this is mod.testLogger...')  
  9.     submod.tst()  

        子子模塊submod.py:

  1. import logging  
  2.   
  3. logger = logging.getLogger('main.mod.submod')  
  4. logger.info('logger of submod say something...')  
  5.   
  6. def tst():  
  7.     logger.info('this is submod.tst()...')  

        然後運行python main.py,控制檯輸出:

  1. 2012-03-09 18:22:22,793 - root - DEBUG - test root logger...  
  2. 2012-03-09 18:22:22,793 - main - INFO - test main logger  
  3. 2012-03-09 18:22:22,809 - main - INFO - start import module 'mod'...  
  4. 2012-03-09 18:22:22,809 - main.mod.submod - INFO - logger of submod say something...  
  5. 2012-03-09 18:22:22,809 - main.mod - INFO - logger say something...  
  6. 2012-03-09 18:22:22,809 - main - DEBUG - let's test mod.testLogger()  
  7. 2012-03-09 18:22:22,825 - main.mod - DEBUG - this is mod.testLogger...  
  8. 2012-03-09 18:22:22,825 - main.mod.submod - INFO - this is submod.tst()...  
  9. 2012-03-09 18:22:22,841 - root - INFO - finish test...  

        可以看出,和預想的一樣,然後在看一下tst.log,logger配置中的輸出的目的地:

  1. 2012-03-09 18:22:22,793 - main - INFO - test main logger  
  2. 2012-03-09 18:22:22,809 - main - INFO - start import module 'mod'...  
  3. 2012-03-09 18:22:22,809 - main.mod.submod - INFO - logger of submod say something...  
  4. 2012-03-09 18:22:22,809 - main.mod - INFO - logger say something...  
  5. 2012-03-09 18:22:22,809 - main - DEBUG - let's test mod.testLogger()  
  6. 2012-03-09 18:22:22,825 - main.mod - DEBUG - this is mod.testLogger...  
  7. 2012-03-09 18:22:22,825 - main.mod.submod - INFO - this is submod.tst()...  

        tst.log中沒有root logger輸出的信息,因爲logging.conf中配置了只有main logger及其子logger使用RotatingFileHandler,而root logger是輸出到標準輸出。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章