ELK日志分析平台实战（一） ES搜索引擎

ELK主要由三个重要组件：

• elasticsearch搜索分析引擎
• logstash数据采集
• kibana可视化

一、elasticsearch实战

简介

• Elasticsearch 是一个开源的分布式搜索分析引擎,建立在一个全
  文搜索引擎库 Apache Lucene基础之上。
• Elasticsearch 不仅仅是 Lucene,并且也不仅仅只是一个全文搜索
  引擎:
  • 一个分布式的实时文档存储,每个字段 可以被索引与搜索
  • 一个分布式实时分析搜索引擎
  • 能胜任上百个服务节点的扩展,并支持 PB 级别的结构化或者非结构
  化数据

基础模块	作用
cluster:	管理集群状态,维护集群层面的配置信息。
alloction:	封装了分片分配相关的功能和策略。
discovery:	发现集群中的节点,以及选举主节点。
gateway:	对收到master广播下来的集群状态数据的持久化存储。
indices:	管理全局级的索引设置。
http:	允许通过JSON over HTTP的方式访问ES的API。
transport:	用于集群内节点之间的内部通信。
engine:	封装了对Lucene的操作及translog的调用。

• elasticsearch应用场景:

1. 信息检索
2. 日志分析
3. 业务数据分析
4. 数据库加速
5. 运维指标监控

• 官网:https://www.elastic.co/cn/

我们下载软件时可以去这个网站下载，比较快。
https://elasticsearch.cn/download/

elasticsearch安装与配置

[root@server4 ~]# rpm -ivh elasticsearch-7.6.1.rpm		# 安装ES
# 修改配置文件:
[root@server4 elasticsearch]# vim /etc/elasticsearch/elasticsearch.yml
luster.name: my-es 		#集群名称
node.name: server4		 #主机名需要解析
path.data: /var/lib/elasticsearch		 #数据目录
path.logs: /var/log/elasticsearch 		#日志目录
bootstrap.memory_lock: true		#锁定内存分配
network.host: 172.25.0.4		#主机ip
http.port: 9200				#http服务端口
cluster.initial_master_nodes: ["server4"]			#

做了这些设定后我们是起不来服务的因为我们没有对系统进行设定，不满足要求。

修改系统限制:
[root@server4 elasticsearch]# vim /etc/security/limits.conf
elasticsearch  -  nofile  65535			# 限定文件数量，不得大于内核限制（sysctl -a | grep file）
elasticsearch  -  nproc 4096			# 进程数
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited

由于服务有systemd 启用，所以我们去指定systemd的系统限制：
[root@server4 elasticsearch]#  vim /usr/lib/systemd/system/elasticsearch.service
## 在service语句块下添加
LimitNOFILE=65535

LimitMEMLOCK=infinity

# 修改java虚拟机限制
[root@server4 elasticsearch]# cd /etc/elasticsearch/
[root@server4 elasticsearch]# vim jvm.options
-Xms1g
-Xmx1g

Xmx设置不超过物理RAM的50%,以确保有足够的物理RAM留给内核文件系统缓存。但不要超过32G。
这里我们应该给这台虚拟机2G的内存。

然后我们去禁用交换分区，会影响数据的交互：

[root@server4 elasticsearch]# echo 0 > /proc/sys/vm/swappiness 			数值越大月倾向于使用swap分区
[root@server4 elasticsearch]# swapoff -a
[root@server4 elasticsearch]# vim /etc/fstab  
#/dev/mapper/rhel-swap   swap                    swap    defaults        0 0		# 禁用掉开机自启

现在就可以启动了：

[root@server4 ~]# systemctl daemon-reload
[root@server4 ~]# systemctl start elasticsearch.service
[root@server4 elasticsearch]# curl 172.25.254.4:9200
{
  "name" : "server4",
  "cluster_name" : "my-es",		# 可以访问了
  "cluster_uuid" : "UHOmLiHiQ1CwOx2J6R3Kxg",

elasticsearch插件安装

但是这样还不够刺激，我们想要给它加一个图形界面：
我们需要去下载插件：
下载elasticsearch-head插件

• wget https://github.com/mobz/elasticsearch-head/archive/master.zip

  head插件本质上是一个nodejs的工程,因此需要安装node:

• wget https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/nodejs9.11.2-1nodesource.x86_64.rpm

[root@server4 ~]# ls
 master.zip		# 需要这个插件
[root@server4 ~]# unzip master.zip 
[root@server4 ~]# ls
 elasticsearch-head-master  master.zip
然后我们需要进入这个目录里面执行 npm 这个命令，这时我们安装node包
[root@server4 ~]# rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm 
warning: nodejs-9.11.2-1nodesource.x86_64.rpm: Header V4 RSA/SHA256 Signature, key ID 34fa74dd: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:nodejs-2:9.11.2-1nodesource      ################################# [100%]

然后我们进入目录，由于npm install 很慢，所以我们更换一个仓库下载
[root@server4 ~]# cd elasticsearch-head-master/
[root@server4 elasticsearch-head-master]# npm install --registry=https://registry.npm.taobao.org
PhantomJS not found on PATH		# 发现环境变量少了一个东西，
Downloading https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
Saving to /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2
# 让去这里下载


[root@server4 ~]# ls
 phantomjs-2.1.1-linux-x86_64.tar.bz2		#下载好了
 [root@server4 ~]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 
 [root@server4 ~]# cd phantomjs-2.1.1-linux-x86_64/


[root@server4 phantomjs-2.1.1-linux-x86_64]# ls
bin  ChangeLog  examples  LICENSE.BSD  README.md  third-party.txt
[root@server4 phantomjs-2.1.1-linux-x86_64]# cd bin/			
[root@server4 bin]# ls
phantomjs
[root@server4 bin]# cp phantomjs /usr/local/bin/		# 复制这个二进制文件到环境变量就可以使用这个命令了


[root@server4 ~]# phantomjs 
phantomjs: error while loading shared libraries: libfontconfig.so.1:		# 又缺少了一个库文件
[root@server4 ~]# yum install fontconfig-2.13.0-4.3.el7.x86_64 -y
[root@server4 ~]# phantomjs 
phantomjs> 
phantomjs> 
# 就代表成功了

在重新npm install
[root@server4 elasticsearch-head-master]# npm install --registry=https://registry.npm.taobao.org


我们还要修改ES主机ip和端口：
[root@server4 elasticsearch-head-master]# cd _site/
[root@server4 _site]# ls
app.css  app.js  background.js  base  fonts  i18n.js  index.html  lang  manifest.json  vendor.css  vendor.js
[root@server4 _site]# vim app.js 

[root@server4 _site]# npm run start &			# 启动head插件
[1] 3732
[root@server4 _site]# 
> [email protected] start /root/elasticsearch-head-master
> grunt server

(node:3742) ExperimentalWarning: The http2 module is an experimental API.
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100		#	访问的9100

在浏览器访问是这样的，但是连接不成功，因为不允许跨域访问，所以我们应该修改ES跨域主持

[root@server4 _site]# vim /etc/elasticsearch/elasticsearch.yml
# Set a custom port for HTTP:
#
http.port: 9200

http.cors.enabled: true			# 是否支持跨域
http.cors.allow-origin: "*"		# *表示支持所有域名

systemctl restart elasticsearch.service		# 重启服务

就连接上了。
创建一个索引：

刷新一下：

加粗的是主分片，细的是辅分片，健康状态变成了黄色，代表主分片存在，辅分片丢失。如过变成了红色，就代表没有可用分片了。

elasticsearch分布式部署

以相同的方法再安装两个ES节点,配置如下:

[root@server4 _site]# ssh-keygen
[root@server4 _site]# ssh-copy-id server1
[root@server4 _site]# ssh-copy-id server2		# 做免密,然后将配置的文件全部复制过去
[root@server4 ~]# scp elasticsearch-7.6.1-x86_64.rpm server1:
[root@server4 ~]# scp elasticsearch-7.6.1-x86_64.rpm server2:
[root@server4 elasticsearch]# scp -p /etc/elasticsearch/elasticsearch.yml server1:/etc/elasticsearch/                                                                                                                                                             
[root@server4 elasticsearch]# scp -p /etc/elasticsearch/elasticsearch.yml server2:/etc/elasticsearch/
[root@server4 security]# scp /etc/security/limits.conf server1:/etc/security/
[root@server4 security]# scp /etc/security/limits.conf server2:/etc/security/
[root@server4 system]# scp /usr/lib/systemd/system/elasticsearch.service server1:/usr/lib/systemd/system/
[root@server4 system]# scp /usr/lib/systemd/system/elasticsearch.service server2:/usr/lib/systemd/system/

然后更改他们的配置文件：

vim /etc/elasticsearch/elasticsearch.yml 

server4：
discovery.seed_hosts: ["server4", "server1", "server2"]		# 改这里，其它不变
cluster.initial_master_nodes: ["server4","server1","server2"]		# 需要多个master结点进行切换

server1：
node.name: server1
network.host: 172.25.254.1
discovery.seed_hosts: ["server4", "server1", "server2"]
cluster.initial_master_nodes: ["server4","server1","server2"]

server2：
node.name: server2
network.host: 172.25.254.2
discovery.seed_hosts: ["server4", "server2", "server1"]
cluster.initial_master_nodes: ["server4","server1","server2"]


然后在三个结点都
[root@server2 ~]# systemctl daemon-reload 
[root@server2 ~]# systemctl start elasticsearch.service			# server1是restart

查看ES集群状态

当前server4 是master结点，其他两个是worker结点。

elasticsearch节点角色

• Master:
  • 主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master
    不负责数据的索引和检索,所以负载较轻。当Master节点失联或者挂掉的
    时候,ES集群会自动从其他Master节点选举出一个Leader。
• Data Node:
  • 主要负责集群中数据的索引和检索,一般压力比较大。
• Coordinating Node:
  • 原来的Client node的,主要功能是来分发请求和合并结果的。所有节点默
    认就是Coordinating node,且不能关闭该属性。
• Ingest Node:
  • 专门对索引的文档做预处理

elasticsearch节点优化

• 在生产环境下,如果不修改elasticsearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题。
• 默认情况下,elasticsearch集群中每个节点都有成为主节点的资格,
  也都存储数据,还可以提供查询服务。
• 节点角色是由以下属性控制:
  • node.master: false|true
  • node.data: true|false
  • node.ingest: true|false
  • search.remote.connect: true|false
    默认情况下这些属性的值都是true。
    
    于是我们现在就有五种组合：
    

我们这样设置：
在server4上：

# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
node.name: server4
node.master: true
node.data: false
node.ingest: false
search.remote.connect: false

# 让他成为master节点

server1上

# Use a descriptive name for the node:
#
node.name: server1
node.master: true
node.data: true
node.ingest: false
search.remote.connect: false

让他可以接管master，也存储数据

server2上

# Use a descriptive name for the node:
#
node.name: server1
node.master: true
node.data: true
node.ingest: false
search.remote.connect: false

让他可以接管master，也存储数据,这里我们先不做预处理结点
然后重启三台服务，这时serve4是起不来的，是因为我们设置 不做存储结点，但是之前已经有数据了，所以我们要进行清理
[root@server4 elasticsearch]# cd /usr/share/elasticsearch/
[root@server4 elasticsearch]# cd bin/				# 里面有命令
[root@server4 bin]# elasticsearch-node repurpose
[root@server4 bin]# systemctl restart elasticsearch.service 

• 生产集群中可以对这些节点的职责进行划分

  • 建议集群中设置3台以上的节点作为master节点,这些节点只负责成为主
    节点,维护整个集群的状态。
  • 再根据数据量设置一批data节点,这些节点只负责存储数据,后期提供建
    立索引和查询索引的服务,这样的话如果用户请求比较频繁,这些节点的
    压力也会比较大。
  • 所以在集群中建议再设置一批协调节点,这些节点只负责处理用户请求,
    实现请求转发,负载均衡等功能。

• 节点需求

  • master节点:普通服务器即可(CPU、内存 消耗一般)
  • data节点:主要消耗磁盘、内存。
  • path.data: data1,data2,data3
    这样的配置可能会导致数据写入不均匀,建议只指定一个数据路径,磁盘可以使
    用raid0阵列,而不需要成本高的 ssd。
  • Coordinating节点:对cpu、memory要求较高。

调整后的ES集群状态：