ELK實時日誌分析平臺環境搭建

主要介紹

環境

1. 本地環境：deepin 15.9
2. Java環境：1.8.0_171
3. 軟件版本：
   • elasticsearch-6.6.2
   • logstash-6.6.2
   • kibana-6.6.2-linux-x86_64

日誌分析的好處：

系統和業務的日誌很重要，通過對日誌的分析有以下的好處：

• 信息查找。通過檢索日誌信息，定位相應的bug，找出解決方案（鍋）。
• 服務診斷。通過對日誌信息進行統計、分析，瞭解服務器的負荷和服務運行狀態，找出耗時請求進行優化等等。
• 數據分析。可以做進一步的數據分析，統計、聚合出有意義的信息。

主要的軟件

1. elasticsearch：一個基於Lucene的開源分佈式搜索服務器。它的特點有：分佈式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。Elasticsearch是用Java開發的，所以需要本地裝有Java環境
2. logstash：可以對你的日誌進行收集、過濾、分析，支持大量的數據獲取方法，並將其存儲供以後使用（如搜索）
3. kibana：一個基於瀏覽器頁面的Elasticsearch前端展示工具，Kibana可以爲 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面，可以幫助彙總、分析和搜索重要數據日誌。

ELK的思路

Logstash收集產生的Log或其他數據，並存放到ElasticSearch集羣中，而Kibana則從ES集羣中查詢數據並可視化，再返回給Browser

安裝配置Elasticsearch

1. 首先去官網下載: 官網地址www.elastic.co

2. 安裝並添加用戶（root使用會報錯）

#解壓到opt
tar -zxvf elasticsearch-6.6.2.tar.gz 

#添加用戶
adduser HXH 

#返回/opt添加權限
chown -R HXH  elasticsearch-6.6.2

#切換用戶
su HXH

3. 修改limits.conf
   
4. 配置sysctl
   

#讓配置生效
sysctl -p

5. 啓動服務: ./elasticsearch-6.6.2/bin/elasticsearch
   

6. 啓動成功
   

（可選）安裝elasticsearch-head插件

1. 通過elasticseach自帶的plugin命令 （找不到包安裝不了）

2. github下載：這是地址

   • 本地需要有npm（sudo apt-get install npm）
   • 編譯源碼：npm install -g grunt-cli
   • 安裝：npm install
   • 啓動：grunt server
     

3. 效果
   

安裝配置Logstash

1. 首先去官網下載: 官網地址www.elastic.co

2. 安裝並配置

#解壓到opt
tar -zxvf logstash-6.6.2.tar.gz 

3. 本地測試接收從終端輸入，Logstash解析輸出到控制檯 ，並輸出到ElasticSearch
   

4. 啓動：
   root@shuxnhs-PC:/opt/logstash/bin# ./logstash -f …/test/std_std.conf
   

5.效果圖

安裝配置Kibana

1. 首先去官網下載: 官網地址www.elastic.co

2. 安裝並配置

#解壓到opt
tar -zxvf kibana-6.6.2-linux-x86_64.tar.gz 

3. 啓動./bin/kibana
   
4. 效果圖