ELK的搭建指南

原創

2020-04-13 22:25

Elastic Stack簡介

ELK是三款軟件的簡稱，分別是Elasticsearch、 Logstash、Kibana組成，在發展的過程中，又有新成員Beats的加入，所以就形成了Elastic Stack。所以說，ELK是舊的稱呼，Elastic Stack是新的名字。

使用數據源->fileBeat->Elasticsearch->kibana構建，本文檔將詳細介紹單機ELK的搭建。

Elasticsearch的安裝與部署

2.1 準備一臺linux服務器，必須是64位

2.2 在linux上安裝1.8及以上版本的jdk必須是64位

2.2.1 在Linux創建一個用戶爲 es 密碼爲es

2.2.2 新增文件夾放jdk

2.2.3將jdk安裝包放入java文件夾

2.2.4查看jdk版本並通過root用戶將java文件授權給es

2.2.5使用es用戶解壓jdk

2.2.6 修改jdk的配置

將下面配置複製到profile最後

export JAVA_HOME=/usr/local/java/jdk1.8.0_131

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH

export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin

export PATH=$PATH:${JAVA_PATH}

退出並保存

2.2.7使用命令讓其生效

2.3 在linux上安裝ES

2.3.1創建文件夾並將安裝包放入，記得通過root用戶將es文件夾授權給es

2.3.2切換es用戶解壓安裝包

2.3.3修改配置文件

2.3.4添加配置

network.host: 0.0.0.0

http.port: 9200

bootstrap.system_call_filter: false

2.3.5修改jvm啓動參數

-Xms128m #根據自己機器情況修改

-Xmx128m

2.3.6切換root用戶授權

添加.max_map_count=655360，並使其生效

2.3.7啓動es

2.3.8查看報錯信息

切換root用戶，編輯limits.conf添加以下內容，保存並退出

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

vi /etc/security/limits.d/90-nproc.conf

#修改如下內容：

* soft nproc 1024

#修改爲

* soft nproc 4096

2.3.9切換es用戶並且重新啓動

2.3.10查看進程

2.3.11 網頁訪問http://192.168.81.133:9200/

解決方案 1.關閉防火牆

service iptables stop

2.開放端口號

yum install iptables-services

在-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT後面添加

-A INPUT -m state --state NEW -m tcp -p tcp --dport 9200 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 9300 -j ACCEPT

保存並退出，並重啓，查看

網頁重新訪問http://192.168.81.133:9200/

返回以下數據表示啓動成功

使用命令後臺默認啓動

3.（可選）安裝谷歌插件Elasticsearch-head,可查看並操作es

4.安裝filebeats

4.1解壓

4.3創建並修改配置

創建配置文件 touch itcast-log.yml

修改配置文件，保存並退出

filebeat.inputs:

- type: log

enabled: true

paths:

- /itcast/logs/*.log

tags: ["web"]

fields:

from: itcast-im

fields_under_root: true

setup.template.settings:

index.number_of_shards: 3

output.elasticsearch:

hosts: ["192.168.81.133:9200"]