python之logging

1. logging介紹

        Python的logging模塊提供了通用的日誌系統，可以方便第三方模塊或者是應用使用。這個模塊提供不同的日誌級別，並可以採用不同的方式記錄日誌，比如文件，HTTP GET/POST，SMTP，Socket等，甚至可以自己實現具體的日誌記錄方式。

        logging模塊與log4j的機制是一樣的，只是具體的實現細節不同。模塊提供logger，handler，filter，formatter。

        logger：提供日誌接口，供應用代碼使用。logger最長用的操作有兩類：配置和發送日誌消息。可以通過logging.getLogger(name)獲取logger對象，如果不指定name則返回root對象，多次使用相同的name調用getLogger方法返回同一個logger對象。

        handler：將日誌記錄（log record）發送到合適的目的地（destination），比如文件，socket等。一個logger對象可以通過addHandler方法添加0到多個handler，每個handler又可以定義不同日誌級別，以實現日誌分級過濾顯示。

        filter：提供一種優雅的方式決定一個日誌記錄是否發送到handler。

        formatter：指定日誌記錄輸出的具體格式。formatter的構造方法需要兩個參數：消息的格式字符串和日期字符串，這兩個參數都是可選的。

        與log4j類似，logger，handler和日誌消息的調用可以有具體的日誌級別（Level），只有在日誌消息的級別大於logger和handler的級別。

1. import logging
2. import logging.handlers
4. LOG_FILE = 'tst.log'
6. handler = logging.handlers.RotatingFileHandler(LOG_FILE, maxBytes = 1024*1024, backupCount = 5) # 實例化handler
7. fmt = '%(asctime)s - %(filename)s:%(lineno)s - %(name)s - %(message)s'
9. formatter = logging.Formatter(fmt) # 實例化formatter
10. handler.setFormatter(formatter) # 爲handler添加formatter
12. logger = logging.getLogger('tst') # 獲取名爲tst的logger
13. logger.addHandler(handler) # 爲logger添加handler
14. logger.setLevel(logging.DEBUG)
16. logger.info('first info message')
17. logger.debug('first debug message')

        輸出：

2012-03-04 23:21:59,682 - log_test.py:16 - tst - first info message 
2012-03-04 23:21:59,682 - log_test.py:17 - tst - first debug message

        關於formatter的配置，採用的是%(<dict key>)s的形式，就是字典的關鍵字替換。提供的關鍵字包括：

Format	Description
%(name)s	Name of the logger (logging channel).
%(levelno)s	Numeric logging level for the message (DEBUG, INFO, WARNING, ERROR, CRITICAL).
%(levelname)s	Text logging level for the message ('DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL').
%(pathname)s	Full pathname of the source file where the logging call was issued (if available).
%(filename)s	Filename portion of pathname.
%(module)s	Module (name portion of filename).
%(funcName)s	Name of function containing the logging call.
%(lineno)d	Source line number where the logging call was issued (if available).
%(created)f	Time when the LogRecord was created (as returned by time.time()).
%(relativeCreated)d	Time in milliseconds when the LogRecord was created, relative to the time the logging module was loaded.
%(asctime)s	Human-readable time when the LogRecord was created. By default this is of the form “2003-07-08 16:49:45,896” (the numbers after the comma are millisecond portion of the time).
%(msecs)d	Millisecond portion of the time when the LogRecord was created.
%(thread)d	Thread ID (if available).
%(threadName)s	Thread name (if available).
%(process)d	Process ID (if available).
%(message)s	The logged message, computed as msg % args.

        這個是摘自官網，提供了很多信息。

2. logging的配置

        logging的配置可以採用python代碼或是配置文件。python代碼的方式就是在應用的主模塊中，構建handler，handler，formatter等對象。而配置文件的方式是將這些對象的依賴關係分離出來放在文件中。比如前面的例子就類似於python代碼的配置方式。這裏看一下采用配置文件的方式。

1. import logging
2. import logging.config
4. logging.config.fileConfig("logging.conf") # 採用配置文件
6. # create logger
7. logger = logging.getLogger("simpleExample")
9. # "application" code
10. logger.debug("debug message")
11. logger.info("info message")
12. logger.warn("warn message")
13. logger.error("error message")
14. logger.critical("critical message")

        loggin.conf採用了模式匹配的方式進行配置，正則表達式是r'^[(.*)]$'，從而匹配出所有的組件。對於同一個組件具有多個實例的情況使用逗號‘，’進行分隔。對於一個實例的配置採用componentName_instanceName配置塊。使用這種方式還是蠻簡單的。

[loggers]
keys=root,simpleExample

[handlers]
keys=consoleHandler

[formatters]
keys=simpleFormatter

[logger_root]
level=DEBUG
handlers=consoleHandler

[logger_simpleExample]
level=DEBUG
handlers=consoleHandler
qualname=simpleExample
propagate=0

[handler_consoleHandler]
class=StreamHandler
level=DEBUG
formatter=simpleFormatter
args=(sys.stdout,)

[formatter_simpleFormatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s
datefmt=

        在指定handler的配置時，class是具體的handler類的類名，可以是相對logging模塊或是全路徑類名，比如需要RotatingFileHandler，則class的值可以爲：RotatingFileHandler或者logging.handlers.RotatingFileHandler。args就是要傳給這個類的構造方法的參數，就是一個元組，按照構造方法聲明的參數的順序。

        輸出：

2012-03-06 00:09:35,713 - simpleExample - DEBUG - debug message
2012-03-06 00:09:35,713 - simpleExample - INFO - info message
2012-03-06 00:09:35,714 - simpleExample - WARNING - warn message
2012-03-06 00:09:35,714 - simpleExample - ERROR - error message
2012-03-06 00:09:35,714 - simpleExample - CRITICAL - critical message

        這裏還要明確一點，logger對象是有繼承關係的，比如名爲a.b和a.c的logger都是名爲a的子logger，並且所有的logger對象都繼承於root。如果子對象沒有添加handler等一些配置，會從父對象那繼承。這樣就可以通過這種繼承關係來複用配置。

3. 多模塊使用logging

        logging模塊保證在同一個python解釋器內，多次調用logging.getLogger('log_name')都會返回同一個logger實例，即使是在多個模塊的情況下。所以典型的多模塊場景下使用logging的方式是在main模塊中配置logging，這個配置會作用於多個的子模塊，然後在其他模塊中直接通過getLogger獲取Logger對象即可。

        這裏使用上面配置文件：

[loggers]
keys=root,main

[handlers]
keys=consoleHandler,fileHandler

[formatters]
keys=fmt

[logger_root]
level=DEBUG
handlers=consoleHandler

[logger_main]
level=DEBUG
qualname=main
handlers=fileHandler

[handler_consoleHandler]
class=StreamHandler
level=DEBUG
formatter=fmt
args=(sys.stdout,)

[handler_fileHandler]
class=logging.handlers.RotatingFileHandler
level=DEBUG
formatter=fmt
args=('tst.log','a',20000,5,)

[formatter_fmt]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s
datefmt=

        主模塊main.py：

1. import logging
2. import logging.config
4. logging.config.fileConfig('logging.conf')
5. root_logger = logging.getLogger('root')
6. root_logger.debug('test root logger...')
8. logger = logging.getLogger('main')
9. logger.info('test main logger')
10. logger.info('start import module \'mod\'...')
11. import mod
13. logger.debug('let\'s test mod.testLogger()')
14. mod.testLogger()
16. root_logger.info('finish test...')

        子模塊mod.py：

1. import logging
2. import submod
4. logger = logging.getLogger('main.mod')
5. logger.info('logger of mod say something...')
7. def testLogger():
8. logger.debug('this is mod.testLogger...')
9. submod.tst()

        子子模塊submod.py：

1. import logging
3. logger = logging.getLogger('main.mod.submod')
4. logger.info('logger of submod say something...')
6. def tst():
7. logger.info('this is submod.tst()...')

        然後運行python main.py，控制檯輸出：

2012-03-09 18:22:22,793 - root - DEBUG - test root logger...
2012-03-09 18:22:22,793 - main - INFO - test main logger
2012-03-09 18:22:22,809 - main - INFO - start import module 'mod'...
2012-03-09 18:22:22,809 - main.mod.submod - INFO - logger of submod say something...
2012-03-09 18:22:22,809 - main.mod - INFO - logger say something...
2012-03-09 18:22:22,809 - main - DEBUG - let's test mod.testLogger()
2012-03-09 18:22:22,825 - main.mod - DEBUG - this is mod.testLogger...
2012-03-09 18:22:22,825 - main.mod.submod - INFO - this is submod.tst()...
2012-03-09 18:22:22,841 - root - INFO - finish test...

        可以看出，和預想的一樣，然後在看一下tst.log，logger配置中的輸出的目的地：

2012-03-09 18:22:22,793 - main - INFO - test main logger
2012-03-09 18:22:22,809 - main - INFO - start import module 'mod'...
2012-03-09 18:22:22,809 - main.mod.submod - INFO - logger of submod say something...
2012-03-09 18:22:22,809 - main.mod - INFO - logger say something...
2012-03-09 18:22:22,809 - main - DEBUG - let's test mod.testLogger()
2012-03-09 18:22:22,825 - main.mod - DEBUG - this is mod.testLogger...
2012-03-09 18:22:22,825 - main.mod.submod - INFO - this is submod.tst()...

        tst.log中沒有root logger輸出的信息，因爲logging.conf中配置了只有main logger及其子logger使用RotatingFileHandler，而root logger是輸出到標準輸出。