實時日誌分析作爲掌握業務情況、故障分析排查的一個重要手段，目前使用最多最成熟的莫過於ELK方案，整體方案也有各種架構組合，像rsyslog->ES->kibana、rsyslog->Redis->Logstash->ES->kibana、rsyslog->kafka->Logstash->ES->kibana等等，複雜點的有spark的引用。每種方案適合不同的應用場景，沒有優劣之分，我目前用的是rsyslog->kafka->Logstash->ES->kibana和rsyslog->rsyslog中繼->kafka->Logstash->ES->kibana方案，共5臺ES（12核、64G、機械盤）每天索引10多億條日誌，包含nginx、uwsgi、redis、php開發日誌等，運行比較健壯，每條索引日誌精簡後在10個字段左右，每天Primary Shard的索引量大概在600個G，考慮到性能問題，我們沒要複製分片，同時着重做了ES集羣的調優，日誌保留7天。
從整體架構進行抽象總結，其實就是採集->清洗->索引->展現四個環節，再去考慮各環節中緩存、隊列的使用，每個環節點用不同的軟件來實現。下面介紹一下我目前方案集羣的搭建和配置。希望對同行有所幫助，也算積福德了，在ELK探索過程中多謝遠川和馮超同學的奉獻交流。
.............
瀏覽全部請點擊運維網咖社地址：玩兒透ELK日誌分析集羣搭建.調優.管理（rsyslog->kafka->elk)