前提：處理大數據日誌收集分析，隨着搜索集羣的快速膨脹，大量日誌處理及情況反饋滯後帶來一系列問題，亟需一個工具能快速分析定位集羣中那種日誌或那個機器出現了異常。運維的日誌分析系統定製化較重，分析不夠實時。故找一個RTF工具可以直接即上手。
1、簡介：
logstash日誌收集分發到elastic集羣，elasticsearch進行數據索引，kibana進行結構化查詢展示，redis做緩存隊列。
2、安裝：
logstash，新版下載即可用，需加配置文件agent.conf和index.conf，當然最好途徑是官網sample即得即用。
網址：http://logstash.net/
elasticsearch，下載新版，有個wrapping下載解壓到bin/servic目錄即可使用，中文版需要下載rtf版本或安裝插件。
網址：附上高人git://github.com/medcl/elasticsearch-rtf.git 的集成版，or官網
kibana，查詢結果圖形展示分析
Visit Elasticsearch.org for the full Kibana documentation.無須多說，這句就夠了。
3、配置：
logstash，通過agent方式收集到中心服務，並通過index doc方式發送數據給elasticsearch，故可以配置多個一對一日誌收集或多c到s的日誌收集模式，即客戶端到服務端收集模式
Logstash + Elasticsearch + Kibana+Redis+Syslog-ng
ElasticSearch是一個基於Lucene構建的開源，分佈式，RESTful搜索引擎。設計用於雲計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。支持通過HTTP使用JSON進行數據索引。
logstash是一個應用程序日誌、事件的傳輸、處理、管理和搜索的平臺。你可以用它來統一對應用程序日誌進行收集管理，提供 Web 接口用於查詢和統計。其實logstash是可以被別的替換，比如常見的fluented
Kibana是一個爲 Logstash 和 ElasticSearch 提供的日誌分析的 Web 接口。可使用它對日誌進行高效的搜索、可視化、分析等各種操作。
Redis是一個高性能的內存key-value數據庫,非必需安裝,可以防止數據丟失.
http://my.oschina.net/HeAlvin/blog/378257