記一記方便日後學習。
ELKG 架構設計圖:
ELKG 優點簡介:
處理方式靈活。Elasticsearch 是實時全文索引,不需要像 storm 那樣預先編程才能使用;
配置簡易上手。Elasticsearch 全部採用 JSON 接口,Logstash 是 Ruby DSL 設計,都是目前業界最通用的配置語法設計;
檢索性能高效。雖然每次查詢都是實時計算,但是優秀的設計和實現基本可以達到全天數據查詢的秒級響應;
集羣線性擴展。不管是 Elasticsearch 集羣還是 Logstash 集羣都是可以線性擴展的;
前端操作炫麗。Kibana 界面上,只需要點擊鼠標,就可以完成搜索、聚合功能,生成炫麗的儀表板。
各組件簡介:
logstash:Logstash is a tool for managing events and logs. You can use it to collect logs, parse them, and store them for later use (like, for searching)。是一個用來收集、解析日誌的工具;
kafka :接受logstash agent的日誌消息隊列;
Elasticsearch:是一個分佈式可擴展的實時搜索和分析引擎。它能幫助你搜索、分析和瀏覽數據;
kibana:是一個高吞吐量的分佈式發佈訂閱日誌服務,具有高可用、高性能、分佈式、高擴展、持久性等特性;
grafana:用於可視化大型測量數據的開源程序,他提供了強大和優雅的方式去創建、共享、瀏覽數據。dashboard中顯示了你不同metric數據源中的數據;
ELKG 學習網址:
Elasticsearch: http://www.learnes.net/
Logstash:http://udn.yyuap.com/doc/logstash-best-practice-cn/
kibana: http://kibana.logstash.es/content/