對於一個應用程序來說,日誌記錄是非常重要的。日誌可以幫助開發人員快速定位線上問題,定製解決方案;日誌中包含大量用戶信息,通過日誌分析還可以獲取用戶行爲、興趣偏好等信息,通過這些信息可以得到用戶畫像,對公司戰略的制定提供參考。本文將要介紹如何在node服務中處理日誌。
一、技術選型
選擇了3種主流的技術進行對比:
1.1 log4js
log4js是一種node日誌管理工具,可以將自定義格式的日誌輸出到各種渠道。對於控制檯的日誌輸出可以呈現彩色日誌,對於文件方式的日誌輸出,可以根據文件大小或者日期進行日誌切割。
熟悉java的開發人員會發現log4js與一種常用的java日誌工具log4j很像。沒錯,log4js是log4j的JavaScript版,使用方式也相似。
1.2 winston
winston也是一種非常流行的node日誌管理工具,支持多傳輸。默認輸出格式爲json,也可以自定義輸出格式。如果想要對日誌進行切割還需要使用 winston-daily-rotate-file 模塊。
1.3 PM2
PM2實際是node進程管理工具,具有性能監控、進程守護、負載均衡、日誌管理等功能。使用PM2進行日誌管理,只需要項目中增加console方法調用,無需添加額外的代碼。要對日誌進行切割,需要使用pm2-logrotate。
由於團隊內部服務端系統很多是基於java的,這些系統大部分使用log4j生成日誌。日誌管理相關的日誌歸集系統和日誌查詢系統對log4j格式的日誌支持的更好,所以自己最終選用了log4j的JavaScript版log4js來生成日誌,下面會對log4js的基本使用進行介紹。
二、基本概念
2.1 日誌級別
log4js的默認日誌級別分爲9級,按優先級從低到高排列如下:
ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < MARK < OFF
- 當日志級別爲ALL時,會輸出所有級別的日誌
- 當日志級別爲OFF時,則會關閉日誌,不會有任何日誌輸出
- 用戶還可以根據自己的需要自定義日誌級別
2.2 appender
appender 主要是用來定義以怎樣的方式輸出,輸出到哪裏。可以將日誌寫入到文件、發送電子郵件、通過網絡發送數據等。可以通過配置對象的appenders屬性定義多個appender。
appender的常用類型有:
- console:控制檯輸出
- file:文件輸出
- dateFile:按日期切割的文件輸出
2.3 category
category 是日誌的類型,指定一個或者多個appender爲某種類型的日誌,不同類型的日誌可以指定不同的日誌級別。可以通過配置對象的categories屬性定義多個category。必須指定default類型,用來獲取默認的Logger實例,還可以通過類型名來獲取指定類型的Logger實例。
綜上所訴,appender 定義了日誌輸出到哪裏,category 將appender 進行了分類,不同類型指定不同的日誌級別。
三、使用log4js
3.1 安裝
npm install log4js --save
或者
yarn add log4js
3.2 簡單使用
下面示例利用log4js創建日誌對象logger,通過調用logger.debug、logger.info、logger.warn、logger.error 等方法將日誌輸出到控制檯和日誌文件。
- util/log4jsLogger.js
const path = require('path');
const log4js = require('log4js');
// 配置log4js
log4js.configure({
appenders: {
// 控制檯輸出
console: { type: 'console' },
// 日誌文件
file: { type: 'file', filename: path.join(__dirname, '../../logs/server.log')}
},
categories: {
// 默認日誌
default: { appenders: [ 'file', 'console' ], level: 'debug' },
}
});
// 獲取默認日誌
const logger = log4js.getLogger();
module.exports = logger;
- server.js
再通過調用logger. info 輸出INFO 級別的日誌,這裏web開發框架使用的Koa。
const Koa = require('koa');
const router = require('./router');
const logger = require('./util/log4jsLogger');
const port = 3000;
const app = new Koa()
.use(router.routes())
.use(router.allowedMethods());
app.listen(port, () => {
logger.info(`Server running on port ${port}`);
});
3.3 日誌格式
log4js通過layout 設置日誌格式,內置的layout有:
- basic 包含時間戳、日誌級別、日誌類型的基本日誌格式
- colored 格式與basic的一致,只是不同級別的日誌顯示不同的顏色
- dummy 只輸出第一個參數的內容,沒有時間戳、日誌級別、日誌分類等信息
- pattern 可以自定義格式的layout
示例:
默認的日誌格式:
[2020-04-01T11:33:43.317] [INFO] default - Server running on port 3000
自定義的日誌格式:
2020-04-01 11:33:43.317 [INFO] Server running on port 3000
代碼:
// 自定義日誌格式
const layout = {
type: 'pattern',
pattern: '%d{yyyy-MM-dd hh:mm:ss.SSS} [%p] %m'
};
log4js.configure({
appenders: {
// 控制檯輸出
console: { type: 'console' },
// 日誌文件,通過設置layout 設置日誌格式
file: { type: 'file', filename: path.join(__dirname, '../../logs/server.log'), layout}
},
categories: {
// 默認日誌
default: { appenders: [ 'file', 'console' ], level: 'debug' },
}
});
3.4 日誌切割
如果日誌全部輸出到一個文件,日誌文件會越來越大,導致日誌的備份和查看都很不方便。通過將appender 指定爲 dateFile 類型可以實現按日期將日誌進行切割。
// 日誌配置
log4js.configure({
appenders: {
// 控制檯輸出
console: { type: 'console' },
// 日誌文件
file: {
type: 'dateFile',
filename: path.join(__dirname, '../../logs/server.log'),
// 日誌切割後文件名後綴格式
pattern: '.yyyy-MM-dd'
}
},
categories: {
// 默認日誌
default: { appenders: [ 'file', 'console' ], level: 'debug' },
}
});
假如4月1日部署的服務,日誌會輸出到service.log文件,到4月2日會將service.log更名爲server.log.2020-04-01,然後創建新的service.log文件,新的日誌將繼續輸出到service.log文件。
3.5 輸出多個文件
下面示例除了將完整日誌輸出到server.log,還會將error及以上級別的日誌輸出到server-error.log。
- util/log4jsLogger.js
const path = require('path');
const log4js = require('log4js');
// 配置log4js
log4js.configure({
appenders: {
// 控制檯輸出
console: { type: 'console' },
// 全部日誌文件
allFile: { type: 'file', filename: path.join(__dirname, '../../logs/server.log')},
// 錯誤日誌文件
errorFile: { type: 'file', filename: path.join(__dirname, '../../logs/server-error.log')}
},
categories: {
// 默認日誌,輸出debug 及以上級別的日誌
default: { appenders: [ 'allFile', 'console' ], level: 'debug' },
// 錯誤日誌,輸出error 及以上級別的日誌
error: { appenders: [ 'errorFile' ], level: 'error' },
}
});
// 獲取默認日誌
const defaultLogger = log4js.getLogger();
// 獲取錯誤級別日誌
const errorLogger = log4js.getLogger('error');
// 日誌代理,同時調用默認日誌和錯誤日誌
const loggerProxy = {};
const levels = log4js.levels.levels;
levels.forEach(level => {
const curLevel = level.levelStr.toLowerCase();
loggerProxy[curLevel] = (...params) => {
defaultLogger[curLevel](...params);
errorLogger[curLevel](...params);
}
});
module.exports = loggerProxy;
3.6 覆蓋console
由於使用log4js需要調用logger.debug、logger.info、logger.warn、logger.error等方法,對於已經調用console 方法輸出日誌的項目,全部改爲調用logger的方法,改動起來很麻煩,可以通過覆蓋console的方法來使用log4js輸出日誌。
/**
* 創建日誌代理方法
* @param logLevel 日誌級別
* @param logger 日誌對象
* @return {function}
*/
function createLogProxy (logLevel, logger) {
return (...param) => {
logger[logLevel](...param);
};
}
console.log = createLogProxy('debug', logger);
console.info = createLogProxy('info', logger);
console.warn = createLogProxy('warn', logger);
console.error = createLogProxy('error', logger);
爲了保證所有日誌都能輸出到日誌文件,獲取logger 對象和覆蓋console方法要儘早執行。
四、總結
本章介紹了log4js的基本使用,並給出了常用功能的使用示例,要了解log4js的更多功能,請參考log4js的官網:https://log4js-node.github.io/log4js-node/。另外,本文相關的代碼已提交到GitHub以供參考,項目地址:https://github.com/liulinsp/node-server-log-demo。