EIK日誌分析系統(Elasticsearch | Logstash | Kiabana | Filebeat)的安裝與部署

EIK日誌分析系統(Elasticsearch | Logstash | Kiabana | Filebeat)的安裝與部署_eik學習-CSDN博客

一、ELK簡介

ELK平臺是一套完整的日誌集中處理解決方案,將ElasticSearch、 Logstash 和Kiabana三個開源工具配合使用,完成更強大的用戶對日誌的查詢、排序、統計需求。

1、ElasticSearch的概述

  • ElasticSearch:是基於Lucene (一個全文檢索引擎的架構)開發的分佈式存儲檢索引擎,用來存儲各類日誌
    Elasticsearch是用Java 開發的,可通過RESTful Web接口,讓用戶可以通過瀏覽器與Elasticsearch 通信。
    Elasticsearch是個分佈式搜索和分析引擎,優點是能對大容量的數據進行接近實時的存儲、搜索和分析操作。

2、Logstash的概述

  • Logstash:作爲數據收集引擎數據收集引擎。它支持動態的從各種數據源蒐集數據,並對數據進行過濾、分析、豐富、統一格式等操作,然後存儲到用戶指定的位置,一般會發送給Elasticsearch
    Logstash由JRuby 語言編寫,運行在Java 虛擬機(JVM) 上,是一款強大的數據處理工具,對內存資源要求比較高,可以實現數據傳輸、格式處理、格式化輸出<。Logstash 具有強大的插件功能,常用於日誌處理。

3、Kiabana的概述

  • Kiabana:是基於Node.js開發的展示工具,可以爲Logstash 和ElasticSearch 提供圖形化的日誌分析web界面展示,可以彙總、分析和搜索重要數據日誌。

4、Filebeat的概述

  • Filebeat:輕量級的開源日誌文件數據蒐集器。通常在需要採集數據的客戶端安裝Filebeat,並指定目錄與日誌格式,Filebeat 就能快速收集數據,併發送給logstash 進行解析,或是直接發給Elasticsearch存儲,性能上相比運行於JVM上的logstash 優勢明顯,是對它的替代。

二、爲什麼要使用ELK

  • 日誌主要包括系統日誌、應用程序日誌和安全日誌。系統運維和開發人員可以通過日誌瞭解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以瞭解服務器的負荷,性能安全性,從而及時採取措施糾正錯誤。
  • 往往單臺機器的日誌我們使用grepawk等工具就能基本實現簡單分析,但是當日志被分散的儲存不同的設備上。如果你管理數十上百臺服務器,你還在使用依次登錄每臺機器的傳統方法查閱日誌。這樣是不是感覺很繁瑣和效率低“下。當務之急我們使用集中化的日誌管理,例如:開源的syslog,將所有服務器上的日誌收集彙總。集中化管理日誌後,日誌的統計和檢索又成爲一件比較麻煩的事情,一般我們使用grep、awk和wc等Linux命令能實現檢索和統計,但是對於要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。
  • 一般大型系統是一個分佈式部署的架構,不同的服務模塊部署在不同的服務器上,問題出現時,大部分情況需要根據問題暴露的關鍵信息,定位到具體的服務器和服務模塊,構建一套集中式日誌系統,可以提高定位問題的效率。

三、完整日誌系統基本特徵

特徵 說明
收集 能夠採集多種來源的日誌數據
傳輸 能夠穩定的把日誌數據解析過濾並傳輸到存儲系統
存儲 存儲日誌數據
分析 支持UI分析
警告 能夠提供錯誤報告,監控機制

四、ELK的工作原理

  • 在所有需要收集日誌的服務器上部署Logstash;或者先將日誌進行集中化管理在日誌服務器上,在日誌服務器上部署Logstash
  • Logstash 收集日誌,將日誌格式化並輸出到Elasticsearch 羣集中。
  • Elasticsearch 對格式化後的數據進行索引和存儲。
  • Kibana從ES羣集中查詢數據生成圖表,並進行前端數據的展示。

五、ELK操作部署

在這裏插入圖片描述

環境配置

服務器 IP地址 配置服務
Node1節點(2C/4G) node1/192.168.111.30 Elasticsearch、Kibana
Node2節點(2C/4G) node2/192.168.111.40 Elasticsearch
Apache節點 apache/192.168.111.50 Logstash 、Apache
systemctl stop firewalld
setenforce 0

在這裏插入圖片描述


ELK Elasticsearch 集羣部署

在Node1、Node2節點上操作

1、環境準備

#更改主機名、配置域名解析、查看Java環境
Node1節點:hostnamectl set-hostname node1
Node2節點:hostnamectl set-hostname node2

vim /etc/hosts
192.168.111.30   node1
192.168.111.40   node2

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

java -version										#如果沒有安裝,yum -y install java
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

在這裏插入圖片描述


2、部署 Elasticsearch 軟件

(1)安裝elasticsearch—rpm包

elasticsearch軟件包

#上傳elasticsearch-5.5.0.rpm到/opt目錄下

cd /opt
rpm -ivh elasticsearch-5.5.0.rpm 

在這裏插入圖片描述

(2)加載系統服務

systemctl daemon-reload    
systemctl enable elasticsearch.service

在這裏插入圖片描述

(3)修改elasticsearch主配置文件

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml
--17--取消註釋,指定集羣名字
cluster.name: my-elk-cluster
--23--取消註釋,指定節點名字:Node1節點爲node1,Node2節點爲node2
node.name: node1
--33--取消註釋,指定數據存放路徑
path.data: /data/elk_data
--37--取消註釋,指定日誌存放路徑
path.logs: /var/log/elasticsearch/
--43--取消註釋,改爲在啓動的時候不鎖定內存
bootstrap.memory_lock: false
--55--取消註釋,設置監聽地址,0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消註釋,ES 服務的默認監聽端口爲9200
http.port: 9200
--68--取消註釋,集羣發現通過單播實現,指定要發現的節點 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

(4)創建數據存放路徑並授權

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

在這裏插入圖片描述

(5)啓動elasticsearch是否成功開啓

systemctl start elasticsearch.service
netstat -antp | grep 9200

在這裏插入圖片描述

(6)查看節點信息

瀏覽器訪問  http://192.168.111.30:9200  、 http://192.168.111.40:9200 查看節點 Node1、Node2 的信息。

瀏覽器訪問 http://192.168.111.30:9200/_cluster/health?pretty  、 http://192.168.111.40:9200/_cluster/health?pretty查看羣集的健康情況,可以看到 status 值爲 green(綠色), 表示節點健康運行。

瀏覽器訪問 http://192.168.111.30:9200/_cluster/state?pretty  檢查羣集狀態信息

#使用上述方式查看羣集的狀態對用戶並不友好,可以通過安裝 Elasticsearch-head 插件,可以更方便地管理羣集。

在這裏插入圖片描述

在這裏插入圖片描述
在這裏插入圖片描述

在這裏插入圖片描述

在這裏插入圖片描述


3、安裝 Elasticsearch-head 插件

  • Elasticsearch 在 5.0 版本後,Elasticsearch-head 插件需要作爲獨立服務進行安裝,需要使用npm工具(NodeJS的包管理工具)安裝。

  • 安裝 Elasticsearch-head 需要提前安裝好依賴軟件 node 和 phantomjs。

  • node:是一個基於 Chrome V8 引擎的 JavaScript 運行環境。

  • phantomjs:是一個基於 webkit 的JavaScriptAPI,可以理解爲一個隱形的瀏覽器,任何基於 webkit 瀏覽器做的事情,它都可以做到。


(1)編譯安裝 node

node軟件包

#上傳軟件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -y

cd /opt
tar zxvf node-v8.2.1.tar.gz

cd node-v8.2.1/
./configure
make && make install

在這裏插入圖片描述
在這裏插入圖片描述

(2)安裝 phantomjs

phantomjs軟件包

#上傳軟件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到opt
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

在這裏插入圖片描述
在這裏插入圖片描述

(3)安裝 Elasticsearch-head 數據可視化工具

Elasticsearch-head軟件包

#上傳軟件包 elasticsearch-head.tar.gz 到/opt
cd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

在這裏插入圖片描述
在這裏插入圖片描述

(4)修改 Elasticsearch 主配置文件

vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下內容--
http.cors.enabled: true				#開啓跨域訪問支持,默認爲 false
http.cors.allow-origin: "*"			#指定跨域訪問允許的域名地址爲所有

systemctl restart elasticsearch

在這裏插入圖片描述
在這裏插入圖片描述

(5)啓動 elasticsearch-head 服務

#必須在解壓後的 elasticsearch-head 目錄下啓動服務,進程會讀取該目錄下的 gruntfile.js 文件,否則可能啓動失敗。
cd /usr/local/src/elasticsearch-head/
npm run start &

> [email protected] start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

#elasticsearch-head 監聽的端口是 9100
netstat -natp |grep 9100

在這裏插入圖片描述

(6)通過 Elasticsearch-head 查看 Elasticsearch 信息

通過瀏覽器訪問 http://192.168.111.30:9100/ 地址並連接羣集。如果看到羣集健康值爲 green 綠色,代表羣集很健康。

在這裏插入圖片描述

在這裏插入圖片描述

(7)插入索引

#通過命令插入一個測試索引,索引爲 index-demo,類型爲 test。
curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
//輸出結果如下:
{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}

在這裏插入圖片描述

瀏覽器訪問 http://192.168.111.30:9100/ 查看索引信息,可以看見索引默認被分片5個,並且有一個副本。
點擊“數據瀏覽”,會發現在node1上創建的索引爲 index-demo,類型爲 test 的相關信息。
在這裏插入圖片描述
在這裏插入圖片描述


ELK Logstash 部署

在 Apache 節點上操作

Logstash 一般部署在需要監控其日誌的服務器。在本案例中,Logstash 部署在 Apache 服務器上,用於收集 Apache 服務器的日誌信息併發送到 Elasticsearch。

1.更改主機名

hostnamectl set-hostname apache

在這裏插入圖片描述

2.安裝Apahce服務(httpd)

yum -y install httpd
systemctl start httpd

在這裏插入圖片描述
在這裏插入圖片描述

3.安裝Java環境

yum -y install java
java -version

在這裏插入圖片描述

4.安裝logstash

logstash軟件包

#上傳軟件包 logstash-5.5.1.rpm 到/opt目錄下
cd /opt
rpm -ivh logstash-5.5.1.rpm                           
systemctl start logstash.service                      
systemctl enable logstash.service

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

在這裏插入圖片描述
在這裏插入圖片描述

5.測試 Logstash

Logstash 命令常用選項:

選項 說明
-f 通過這個選項可以指定 Logstash 的配置文件,根據配置文件配置 Logstash 的輸入和輸出流
-e 從命令行中獲取,輸入、輸出後面跟着字符串,該字符串可以被當作 Logstash 的配置(如果是空,則默認使用 stdin 作爲輸入,stdout 作爲輸出)
-t 測試配置文件是否正確,然後退出

定義輸入和輸出流:

#輸入採用標準輸入,輸出採用標準輸出(類似管道)
logstash -e 'input { stdin{} } output { stdout{} }'
......
www.baidu.com										#鍵入內容(標準輸入)
2020-12-22T03:58:47.799Z node1 www.baidu.com		#輸出結果(標準輸出)
www.sina.com.cn										#鍵入內容(標準輸入)
2017-12-22T03:59:02.908Z node1 www.sina.com.cn		#輸出結果(標準輸出)

//執行 ctrl+c 退出


#使用 rubydebug 輸出詳細格式顯示,codec 爲一種編解碼器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
......
www.baidu.com										#鍵入內容(標準輸入)
{
    "@timestamp" => 2020-12-22T02:15:39.136Z,		#輸出結果(處理後的結果)
      "@version" => "1",
          "host" => "apache",
       "message" => "www.baidu.com"
}


#使用 Logstash 將信息寫入 Elasticsearch 中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.111.30:9200"] } }'
			 輸入				輸出			對接
......
www.baidu.com										#鍵入內容(標準輸入)
www.sina.com.cn										#鍵入內容(標準輸入)
www.google.com

//結果不在標準輸出顯示,而是發送至 Elasticsearch 中,可瀏覽器訪問 http://192.168.80.10:9100/ 查看索引信息和數據瀏覽。				

在這裏插入圖片描述
在這裏插入圖片描述

在這裏插入圖片描述
在這裏插入圖片描述

6.定義 logstash配置文件

Logstash 配置文件基本由三部分組成:inputoutput 以及 filter(可選,根據需要選擇使用。

#格式如下:
input {...}
filter {...}
output {...}

#在每個部分中,也可以指定多個訪問方式。例如,若要指定兩個日誌來源文件,則格式如下:
input {
	file { path =>"/var/log/messages" type =>"syslog"}
	file { path =>"/var/log/httpd/access.log" type =>"apache"}
}

#修改 Logstash 配置文件,讓其收集系統日誌/var/log/messages,並將其輸出到 elasticsearch 中。
chmod +r /var/log/messages					#讓 Logstash 可以讀取日誌

vim /etc/logstash/conf.d/system.conf
input {
    file{
        path =>"/var/log/messages"						#指定要收集的日誌的位置
        type =>"system"									#自定義日誌類型標識
        start_position =>"beginning"					#表示從開始處收集
    }
}
output {
    elasticsearch {										#輸出到 elasticsearch
        hosts => ["192.168.111.30:9200"]					#指定 elasticsearch 服務器的地址和端口
        index =>"system-%{+YYYY.MM.dd}"					#指定輸出到 elasticsearch 的索引格式
    }
}

systemctl restart logstash 

瀏覽器訪問 http://192.168.111.30:9100/ 查看索引信息

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述


ELK Kiabana 部署

在 Node1 節點上操作

1.安裝 Kiabana

kiabana軟件包

#上傳軟件包 kibana-5.5.1-x86_64.rpm 到/opt目錄
cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm

在這裏插入圖片描述

2.設置 Kibana 的主配置文件

vim /etc/kibana/kibana.yml
--2--取消註釋,Kiabana 服務的默認監聽端口爲5601
server.port: 5601
--7--取消註釋,設置 Kiabana 的監聽地址,0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消註釋,設置和 Elasticsearch 建立連接的地址和端口
elasticsearch.url: "http://192.168.111.30:9200" 
--30--取消註釋,設置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"

在這裏插入圖片描述

3.啓動 Kibana 服務

systemctl start kibana.service
systemctl enable kibana.service

netstat -natp | grep 5601

在這裏插入圖片描述

4.驗證 Kibana

瀏覽器訪問 http://192.168.111.30:5601
第一次登錄需要添加一個 Elasticsearch 索引:
Index name or pattern
//輸入:system-*			#在索引名中輸入之前配置的 Output 前綴“system”

單擊 “create” 按鈕創建,單擊 “Discover” 按鈕可查看圖表信息及日誌信息。
數據展示可以分類顯示,在“Available Fields”中的“host”,然後單擊 “add”按鈕,可以看到按照“host”篩選後的結果

在這裏插入圖片描述

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

5.將 Apache 服務器的日誌(訪問的、錯誤的)添加到 Elasticsearch 並通過 Kibana 顯示

vim /etc/logstash/conf.d/apache_log.conf
input {
    file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
    }
    file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
    }
}
output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["192.168.80.10:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
	if [type] == "error" {
        elasticsearch {
            hosts => ["192.168.80.10:9200"]
            index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}

cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

瀏覽器訪問 http://192.168.111.30:9100 查看索引是否創建
瀏覽器訪問 http://192.168.111.30:5601 登錄 Kibana,單擊“Create Index Pattern”按鈕添加索引, 在索引名中輸入之前配置的 Output 前綴 apache_access-,並單擊“Create”按鈕。在用相同的方法添加 apache_error- 索引。
選擇“Discover”選項卡,在中間下拉列表中選擇剛添加的 apache_access-* 、apache_error-* 索引, 可以查看相應的圖表及日誌信息。

在這裏插入圖片描述
在這裏插入圖片描述

Filebeat+ELK 部署

1、環境配置

服務器 IP地址 安裝服務
Node1節點(2C/4G) node1/192.168.111.30 Elasticsearch Kibana
Node2節點(2C/4G) node2/192.168.111.40 Elasticsearch
Apache節點 apache/192.168.111.50 Logstash Apache
Filebeat節點 filebeat/192.168.111.60 Filebeat

//在 Node1 節點上操作

2.安裝 Filebeat

Filebeat軟件包

#上傳軟件包 filebeat-6.2.4-linux-x86_64.tar.gz 到/opt目錄
tar zxvf filebeat-6.2.4-linux-x86_64.tar.gz
mv filebeat-6.2.4-linux-x86_64/ /usr/local/filebeat

在這裏插入圖片描述
在這裏插入圖片描述

2.設置 Kibana 的主配置文件

cd /usr/local/filebeat

vim filebeat.yml
filebeat.prospectors:
- type: log         #指定 log 類型,從日誌文件中讀取消息
  enabled: true
  paths:
    - /var/log/messages       #指定監控的日誌文件
    - /var/log/*.log
  fields:           #可以使用 fields 配置選項設置一些參數字段添加到 output 中
    service_name: filebeat
    log_type: log
    service_id: 192.168.80.13

--------------Elasticsearch output-------------------
(全部註釋掉)

----------------Logstash output---------------------
output.logstash:
  hosts: ["192.168.111.30:5044"]      #指定 logstash 的 IP 和端口

#啓動 filebeat
./filebeat -e -c filebeat.yml

在這裏插入圖片描述

在這裏插入圖片描述

在這裏插入圖片描述

4.在 Logstash 組件所在節點上新建一個 filebeat 配置文件

cd /etc/logstash/conf.d

vim filebeat.conf
input {
    beats {
        port => "5044"
    }
}
output {
    elasticsearch {
        hosts => ["192.168.80.10:9200"]
        index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
    }
    stdout {
        codec => rubydebug
    }
}

#啓動 logstash
logstash -f filebeat.conf

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

5. 訪問測試

瀏覽器訪問 http://192.168.111.30:5601 登錄 Kibana,單擊“Create Index Pattern”按鈕添加索引“filebeat-*”,單擊 “create” 按鈕創建,單擊 “Discover” 按鈕可查看圖表信息及日誌信息。
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章