1969年夏天的貝爾實驗室，Ken 和Dennis那個舉動引起的蝴蝶效應是如此巨大。他們催生了偉大開源系統UNIX,此後各種開源應運而生。日誌管理系統是開源歷史偉大的分支。而今天總有那些以開源爲名，做着違背開源價值事情。整理遇到的開源日誌管理軟件記錄下來，助大家少踩坑。
日誌是系統監控和分析重要數據來源。大部分軟件日誌是系統運維和監控的唯一來源。那麼，開源軟件中有哪些提升日誌管理軟件和項目哪些？又有哪些重量級的產品哪？本文會解決以上問題。
日誌包括系統日誌、應用程序日誌和安全日誌。每條日誌都記載着時間戳、主機名、使用者及操作行爲等相關的描述，系統運維和開發人員可以通過日誌瞭解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以瞭解服務器的負荷，性能安全性，及時分析問題、追查錯誤根源。
歷史發展
網上一個有意思的日誌管理圖。 與2004年比起來，2014年日誌統一採集和管理大幅提升了用戶的好感度。那麼，好感度從哪裏來哪？現在日誌管理有哪些構成的哪？一個成熟日誌管理系統用於支持運維和系統診斷包括如下功能：
-
用戶管理 訪問權限
-
通知-告警-郵件
-
配置管理
-
日誌緩存
-
數據庫管理
日誌管理是日誌接入、處理、存儲和可視化的過程。如日誌數據流程圖每個過程都涉及到一些開源軟件，下面分別說明。
日誌管理數據流
1. 數據接入
數據接入也是數據採集。採集源包括系統日誌、應用日誌、移動App日誌等。
採集是對日誌進行過濾、轉換、聚合、分析、路由、緩存過程，完成採集後非結構化日誌變成結構化數據，用於持久化和數據可視化，用於支持運維和故障診斷等。
採集方式分爲：
-
侵入式日誌採集。它的優點和缺點都很明顯。採集邏輯植入到源代碼中，因爲不是一種普適的採集行爲。系統若屬於簡單、單一的服務系統，這是個選擇。採集邏輯根據業務定製化，後續日誌處理流程簡化，和減少網絡或磁盤IO。
-
非侵入式採集。 從使用場景和解決方案都是更通用。開源日誌管理系統都是基於該方案實施和部署。
我們列舉的軟件都是和應用無關。也就是使用非侵入式採集。數據採集現今發展很蓬勃，下文列舉熱門又好用的採集工具。
數據數據採集層
-
logstash 是大名鼎鼎的ELK三劍客之一的L。生態構建非常好，積累大量用戶，社區也非常活躍，新特徵和插件可選擇性很多。
-
Filebeat 是logstash輕量級版本。雖非孿生，但是部署方便、性能優化、資源消耗少，而且處理後的數據，可以輸出到logstash。存儲層也可以是redis或者kafka。
-
flume-ng 隨着流處理崛起，它還會更好。
-
fluentd 採集層輸出格式化(json)數據，便於後續環境使用，而且保持了不錯的性能。
上述軟件滿足了採集層的基本功能，僅列舉特色功能。
2. 數據可視化BI工具
商業化的BI呈現和分析工具在大數據時代大行其道。在開源領域也有一股清流，爲我們BI探索提供實用化實踐機會。它是日誌管理系統和用戶溝通的橋樑，當前又有哪些優秀的開源可視化工具哪？
整理出來可視化工具對比：
可視化BI對比圖
-
superset apache的頂級開源項目，功能強大的可視化工具。隨處於孵化節點，依然吸引大批粉絲。一旦畢業後，可預見會非常流行。
-
redash 社區版本功能依然很強大，企業商業會需要付費。
-
metabase 即使非技術人員也有很好的用戶體驗。
-
kibana ELK三件套之一。廣泛的應用場景。
-
grafana 如果數據源是關係數據庫，grafana 是很好支持場景。
值得慶幸的是，大量的開源數據可視化工具能夠從空間和表格中獲取到獨特數據，並通過使用高級圖形和圖表向用戶呈現信息。讓數據分析變得容易，用戶更專注數據分析和挖掘層面。
3. 全功能日誌管理工具
上文從數據採集和數據可視化2個角度對比開源的工具集合。構建日誌管理系統需要選型，全功能日誌管理工具幫助我們解決選項的難題。我們稱它是日誌管理工具界的泥石流。讓我們看看都包括哪些？
全功能日誌管理系統
-
ELK 日誌管理任誰也繞不過它。我們只需要根據需要，增加和修改部分組件就可以滿足功能。
-
flume-ng + kafka + storm 分佈式存儲+ 實時性流處理 滿足大部分用戶需求。
-
skyEye 相對小衆的全功能工具。 支持不同類型的存儲
-
srcibe fb開源的部署靈活的分佈式處理系統
-
chukwa 優點在於計算
後記
日誌管理隨不同業務需求工具會不同，文中涉及開源軟件解決大部分日誌管理系統的需求場景。
作者：小趙營
鏈接：https://www.jianshu.com/p/caec22625a09
來源：簡書
著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。