Eleastic-Search使用入門介紹

記錄es學習應用的過程和相關總結。2015年左右自己摸索應用在產線應用日誌收集分析、報警。

整理的分享大綱如上圖。

部署架構

https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.html

基礎概念模型

index 索引–數據庫
Primary-shard–lucene實例
Replica-shard–分片副本
Document–row
Field–column
Mapping—ddl,analysis

基礎原理參考資料

ES寫入數據的原理

基本組件

• filebeat

• packetbeat

• logstash
  處理各種類型的日誌數據，比如ApacheWeb日誌和 log4j 應用日誌等。
  支持各種格式的日誌，比如syslog、Windows事件日誌、網絡和防火牆日誌等。
  從Ganglia、collectd、NetFlow、JMX等許多其他基礎架構以及基於TCP和UDP的應用平臺蒐集度量數據
  http://www.2cto.com/os/201411/352015.html
  https://www.elastic.co/guide/en/logstash/current/working-with-plugins.html
  http://grokdebug.herokuapp.com/

• elastic-search
  分片
  索引
  查詢優化

• kibana

應用場景

• 日誌收集、分析、報警
• DB慢sql查詢
• http服務狀態統計報表
• 全文搜索

參考資料

mysql-slow-log
kibana-logstash-es
index過程
資料彙總
https://elasticsearch.cn/topic/