1 ELK安装部署并监控nginx

ELK日志收集部署

ELK介绍

ELK是3个开源产品的组合：

Elasticsearch
Logstash
Kibana

全部由Elastic开发维护。

Elasticsearch是一个基于Lucene搜索引擎的NoSQL数据库。Logstash是一个日志管道工具，接受数据输入，执行数据转换，然后输出数据。Kibana是一个界面层，在Elasticsearch之上工作。另外，ELK栈中还包含称为Beats的日志收集器系列工具。

ELK最常见的使用场景是作为互联网产品的日志系统，当然ELK栈也可用于其他方面，例如：商业智能、大数据分析等。

Elasticsearch: 数据库,存数据 JAVA
Logstash: 收集日志,过滤数据 JAVA
Kibana, 分析, 过滤,展示 JAVA
Filebeat: 手机日志,传输到ES GO

日志收集分类
代理层: nginx haproxy
web层: nginx
db层: mysql redis mongo es

ELK主机规划

本次实验我们使用EFK的架构

53主机 Elasticsearch Kibana nginx filebeat

一.安装elasticsearch
在53主机操作

1.安装java环境

[root@db01 ~]# yum install -y java-1.8.0-openjdk

2.创建软件目录并拉取软件

[root@db01 ~]# mkdir /data/soft -p
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.rpm
[root@db01 ~]# cd /data/soft
[root@db01 soft]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.rpm ##如果拉取不到的话也可以用浏览器实现下载好再上传到服务器

3.使用rpm安装elasticsearch

[root@db01 soft]# rpm -ivh elasticsearch-6.6.0.rpm 

4.修改配置文件并创建数据目录

[root@db01 ~]# vim /etc/elasticsearch/elasticsearch.yml 
node.name: node-1
path.data: /data/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 172.16.210.53
http.port: 9200
[root@db01 ~]# mkdir /data/elasticsearch/ -p
[root@db01 ~]# chown -R elasticsearch:elasticsearch /data/elasticsearch/ ##更改权限

5.修改内存锁定

[root@db01 soft]# systemctl edit  elasticsearch.service
##添加这两行信息
[Service]    
LimitMEMLOCK=infinity 

6.启动elasticsearch

[root@db01 soft]# sudo systemctl daemon-reload
[root@db01 soft]# sudo systemctl enable elasticsearch.service
[root@db01 soft]# sudo systemctl start elasticsearch.service

7.时间同步
在所有主机上操作

yum install -y ntpdate #安装ntpdate
ntpdate time1.aliyun.com ##同步阿里云

二.安装kibana

在53主机操作

1.获取软件并安装

[root@db01 soft]# wget https://artifacts.elastic.co/downloads/kibana/kibana-6.6.0-x86_64.rpm ##拉取kibana安装包,如果拉取不了也可以使用浏览器提前下下载好,再上传至服务器
[root@db01 soft]# rpm -ivh kibana-6.6.0-x86_64.rpm 　＃＃安装kibana

2.编辑kibana配置文件

[root@db01 soft]# vim /etc/kibana/kibana.yml 
##定义端口
server.port: 5601
##定义主机
server.host: "172.16.210.53"
##定义主机名
server.name: "db01"
##定义elasticsearch的主机
elasticsearch.hosts: ["http://localhost:9200"]
##开启kibana在elasticsearch的索引
kibana.index: ".kibana"

3.启动kibana

[root@db01 soft]# systemctl start kibana
[root@db01 soft]# systemctl enable kibana

4.检查端口

[root@db01 soft]# netstat -lntup | grep 5601 ##检查端口5601端口是否打开
tcp        0      0 172.16.210.53:5601      0.0.0.0:*               LISTEN      2955/node  

5.打开web访问
需要等一下时间再访问53主机地址:5601

三.安装filebeat

在53主机操作

1.获取filebeat软件包并安装

[root@db01 soft]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.0-x86_64.rpm ##获取软件包
[root@db01 soft]# rpm -ivh filebeat-6.6.0-x86_64.rpm ##开始安装

2.修改配置文件

[root@db01 soft]# cp /etc/filebeat/filebeat.yml{,bak}  ##修改前先备份一份
[root@db01 soft]# vim /etc/filebeat/filebeat.yml ##修改配置文件
filebeat.inputs:
- type: log
##打开日志提取
  enabled: true
##定义要提取的日志文件路径  
  paths:
    - /var/log/nginx/access.log 
##定义将日志输出到的elasticsearch主机
output.elasticsearch:
  hosts: ["172.16.210.53:9200"]

3.启动服务

[root@db01 soft]# systemctl start filebeat
[root@db01 soft]# systemctl enable filebeat

四.安装nginx

在53主机操作

1.安装nginx和web测试工具

[root@db01 soft]# yum install nginx httpd-tools -y

2.启动nginx

[root@db01 soft]# systemctl start nginx
[root@db01 soft]# systemctl enable nginx

3.进行压力测试

[root@db01 soft]# ab -n 100 -c 100 http://172.16.210.53/
[root@db01 soft]# tailf /var/log/nginx/access.log ##查看是否生产日志
172.16.210.53 - - [21/Jun/2020:14:50:41 +0800] "GET / HTTP/1.0" 200 4833 "-" "ApacheBench/2.3" "-"
172.16.210.53 - - [21/Jun/2020:14:50:41 +0800] "GET / HTTP/1.0" 200 4833 "-" "ApacheBench/2.3" "-"
172.16.210.53 - - [21/Jun/2020:14:50:41 +0800] "GET / HTTP/1.0" 200 4833 "-" "ApacheBench/2.3" "-"
172.16.210.53 - - [21/Jun/2020:14:50:41 +0800] "GET / HTTP/1.0" 200 4833 "-" "ApacheBench/2.3" "-"
172.16.210.53 - - [21/Jun/2020:14:50:41 +0800] "GET / HTTP/1.0" 200 4833 "-" "ApacheBench/2.3" "-"
172.16.210.53 - - [21/Jun/2020:14:50:41 +0800] "GET / HTTP/1.0" 200 4833 "-" "ApacheBench/2.3" "-"
172.16.210.53 - - [21/Jun/2020:14:50:41 +0800] "GET / HTTP/1.0" 200 4833 "-" "ApacheBench/2.3" "-"

使用kibana展示数据

访问kibana的web界面点击Management

点击index Patterns

输入filebeat收集到的日志索引,再点击Next step

选择第一个

再点击Create index pattern

创建完成后,再点击Discover

现在没有数据是因为,最近15分钟没有数据产生,我们可以更改时间

更改为最近4小时的数据就能看见数据了

点击小三角,可以查看详细信息


如果想看某种信息,可以点击添加

此时,就能只看nginx的访问信息了

可以点击进入某个时间段

然后输入200

点击Refeesh就可以查看状态码为200的访问信息,并且统计出为200个

也可查看404状态的次数

也可以手动设置想查看的内容

点击添加过滤项,设置为Chrome

也可以查看使用Chrome访问的次数

也可以双重过滤,过滤使用chrome浏览器并且404的信息

多创建几个过滤项,然后想过滤那个信息,就勾选那个信息就好了,不想过滤那个信息,就取消勾选

也可以排除过滤

过滤访问状态是200的信息,但是排除过滤使用curl的信息