FK-ELK日誌架構系列1：總體設計架構

FK-ELK日誌架構系列，即Fluentd（Filebeat） -> Kafka -> Logstash -> Elasticsearch -> Kibana。

該系列後續會不斷完善架構及部署和配置過程。目前該套日誌架構是部署在K8S之上的，所以主要介紹容器的部署及配置。

該系列目錄：

1. 日誌採集（docker）：Fluentd的部署及配置
2. 日誌採集（VM）：Filebeat的部署及配置
3. 日誌轉發：Kafka的部署及配置
4. 日誌消費：Logstash的部署及配置
5. 日誌存儲：ES的部署及配置
6. 日誌展示：Kibana的部署及配置

1. 總體架構圖

2. 總體架構說明

採集層：docker容器日誌採用Fluentd，VM日誌採用Filebeat

收集層：kafka + ZK

消費層：Logstash

存儲層：ES（實時數據） + HDFS（歷史數據）

展現層：Kibana

 

後續會對各層的設計及部署進行詳細的介紹，如果你感興趣的話，可以留言，一起交流學習。