實時日誌分析作爲掌握業務情況、故障分析排查的一個重要手段，目前使用最多最成熟的莫過於ELK方案，整體方案也有各種架構組合，像(Rsyslog/filebeat/...)->Elastic->Kibana、(Rsyslog/filebeat/...)->Redis->Logstash->Elastic->Kibana、(Rsyslog/filebeat/...)->Kafka->Logstash->Elastic->Kibana等等，複雜點的有Spark的引用，再複雜點的引入Hadoop系列。每種方案適合不同的應用場景，沒有優劣之分，我目前用的是Rsyslog->kafka->(Logstash/Spark)->Elastic->Kibana和Rsyslog->Rsyslog中繼->Kafka->(Logstash/spark)->Elastic->Kibana方案，中間使用Spark對日誌進行再次聚合。
從整體架構進行抽象總結，其實就是採集->清洗->索引->展現四個環節，再去考慮各環節中間緩存、隊列的使用，然後每個環節用不同的軟件工具來實現。下面介紹一下我目前方案集羣的搭建和配置。希望對同行有所幫助，在ELK探索過程中多謝遠川和馮超同學的奉獻交流，常用的一個架構圖如下：
.............
瀏覽全部請點擊運維網咖社地址：玩兒透圍繞ELK體系大型日誌分析集羣方案設計.搭建.調優.管理