Java技術棧
www.javastack.cn
關注閱讀更多優質文章
作者:何甜甜在嗎
鏈接:juejin.im/post/5d4d61326fb9a06aff5e5ff5
通過閱讀本篇文章將瞭解到:
1.日誌輸出到文件並根據LEVEL
級別將日誌分類保存到不同文件
2.通過異步輸出日誌減少磁盤IO
提高性能
3.異步輸出日誌的原理
1、配置文件logback-spring.xml
Spring Boot工程自帶logback
和slf4j
的依賴,所以重點放在編寫配置文件上,需要引入什麼依賴,日誌依賴衝突統統都不需要我們管了。
logback
框架會默認加載classpath
下命名爲logback-spring
或logback
的配置文件。
將所有日誌都存儲在一個文件中文件大小也隨着應用的運行越來越大並且不好排查問題,正確的做法應該是將error
日誌和其他日誌分開,並且不同級別的日誌根據時間段進行記錄存儲。
<?xml version="1.0" encoding="utf-8"?>
<configuration>
<property resource="logback.properties"/>
<appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
<layout class="ch.qos.logback.classic.PatternLayout">
<pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
</layout>
</appender>
<!--獲取比info級別高(包括info級別)但除error級別的日誌-->
<appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
<filter class="ch.qos.logback.classic.filter.LevelFilter">
<level>ERROR</level>
<onMatch>DENY</onMatch>
<onMismatch>ACCEPT</onMismatch>
</filter>
<encoder>
<pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
</encoder>
<!--滾動策略-->
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!--路徑-->
<fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern>
<maxHistory>30</maxHistory>
</rollingPolicy>
</appender>
<appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>ERROR</level>
</filter>
<encoder>
<pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
</encoder>
<!--滾動策略-->
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!--路徑-->
<fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern>
<maxHistory>30</maxHistory>
</rollingPolicy>
</appender>
<root level="info">
<appender-ref ref="CONSOLE-LOG" />
<appender-ref ref="INFO-LOG" />
<appender-ref ref="ERROR-LOG" />
</root>
</configuration>
部分標籤說明
<root>
標籤,必填標籤,用來指定最基礎的日誌輸出級別<appender-ref>
標籤,添加append
<append>
標籤,通過使用該標籤指定日誌的收集策略name
屬性指定appender
命名class
屬性指定輸出策略,通常有兩種,控制檯輸出和文件輸出,文件輸出就是將日誌進行一個持久化。ConsoleAppender
將日誌輸出到控制檯<filter>
標籤,通過使用該標籤指定過濾策略<level>
標籤指定過濾的類型<encoder>
標籤,使用該標籤下的<pattern>
標籤指定日誌輸出格式<rollingPolicy>
標籤指定收集策略,比如基於時間進行收集<fileNamePattern>
標籤指定生成日誌保存地址 通過這樣配置已經實現了分類分天手機日誌的目標了
2、logback 高級特性異步輸出日誌
之前的日誌配置方式是基於同步的,每次日誌輸出到文件都會進行一次磁盤IO。採用異步寫日誌的方式而不讓此次寫日誌發生磁盤IO,阻塞線程從而造成不必要的性能損耗。關注微信公衆號Java技術棧在後臺回覆Java可以獲取我整理的 N 篇 Java 多線程教程。
異步輸出日誌的方式很簡單,添加一個基於異步寫日誌的appender
,並指向原先配置的appender
即可。
<!-- 異步輸出 -->
<appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender">
<!-- 不丟失日誌.默認的,如果隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日誌 -->
<discardingThreshold>0</discardingThreshold>
<!-- 更改默認的隊列的深度,該值會影響性能.默認值爲256 -->
<queueSize>256</queueSize>
<!-- 添加附加的appender,最多隻能添加一個 -->
<appender-ref ref="INFO-LOG"/>
</appender>
<appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender">
<!-- 不丟失日誌.默認的,如果隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日誌 -->
<discardingThreshold>0</discardingThreshold>
<!-- 更改默認的隊列的深度,該值會影響性能.默認值爲256 -->
<queueSize>256</queueSize>
<!-- 添加附加的appender,最多隻能添加一個 -->
<appender-ref ref="ERROR-LOG"/>
</appender>
3、異步輸出日誌性能測試
既然能提高性能的話,必須進行一次測試比對,同步和異步輸出日誌性能到底能提升多少倍?
服務器硬件
CPU
六核內存 8G
測試工具
Apache Jmeter
同步輸出日誌
線程數:100
Ramp-Up Loop
(可以理解爲啓動線程所用時間) :0 可以理解爲100個線程同時啓用測試結果
重點關注指標Throughput【TPS】
吞吐量:系統在單位時間內處理請求的數量,在同步輸出日誌中TPS
爲44.2/sec。坑爹的日誌無法按天切割問題,這個大家也得注意下。
異步輸出日誌
線程數 100
Ramp-Up Loop
:0測試結果
TPS
爲497.5/sec,性能提升了10多倍!!!
4、異步日誌輸出原理
從logback
框架下的Logger.info
方法開始追蹤。一路的方法調用路徑如下圖所示:
異步輸出日誌中最關鍵的就是配置文件中ch.qos.logback.classic
包下AsyncAppenderBase
類中的append
方法,查看該方法的源碼:
protected void append(E eventObject) {
if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) {
this.preprocess(eventObject);
this.put(eventObject);
}
}
通過隊列情況判斷是否需要丟棄日誌,不丟棄的話將它放到阻塞隊列中,通過查看代碼,這個阻塞隊列爲ArrayBlockingQueueu
,默認大小爲256,可以通過配置文件進行修改。
Logger.info(...)
到append(...)
就結束了,只做了將日誌塞入到阻塞隊列的事,然後繼續執行Logger.info(...)
下面的語句了。在AsyncAppenderBase
類中定義了一個Worker
線程,run
方法中的關鍵部分代碼如下:
E e = parent.blockingQueue.take();aai.appendLoopOnAppenders(e);
從阻塞隊列中取出一個日誌,並調用AppenderAttachableImpl
類中的appendLoopOnAppenders
方法維護一個Append
列表。Worker
線程中調用方法過程主要如下圖:
最主要的兩個方法就是encode
和write
方法,前一個法方會根據配置文件中encode
指定的方式轉化爲字節碼,後一個方法將轉化成的字節碼寫入到文件中去。
所以寫文件是通過新起一個線程去完成的,主線程將日誌扔到阻塞隊列中,然後又去做其他事情了。
最近熱文:
1、Spring Boot 2.3.1 發佈, 10 個新特性!
掃碼關注Java技術棧公衆號閱讀更多幹貨。
點擊「閱讀原文」帶你飛~