ELKStack篇(1)——ElasticSearch篇

1.沒有日誌分析系統

1.1運維痛點

1.運維要不停的查看各種日誌。 
2.故障已經發生了纔看日誌(時間問題。) 
3.節點多，日誌分散，收集日誌成了問題。 
4.運行日誌，錯誤等日誌等，沒有規範目錄，收集困難。

1.2環境痛點

1.開發人員不能登陸線上服務器查看詳細日誌。 
2.各個系統都有日誌，日誌數據分散難以查找。 
3.日誌數據量大，查詢速度慢，數據不夠實時。

1.3解決痛點

1.收集（Logstash） 
2.存儲（Elasticsearch、Redis、Kafka） 
3.搜索+統計+展示（Kibana) 
4.報警，數據分析（Zabbix）

2.ElkStack介紹

對於日誌來說，最常見的需求就是收集、存儲、查詢、展示，開源社區正好有相對應的開源項目：logstash（收集）、elasticsearch（存儲+搜索）、kibana（展示），我們將這三個組合起來的技術稱之爲ELKStack，所以說ELKStack指的是Elasticsearch、Logstash、Kibana技術棧的結合，一個通用的架構如下圖所示： 

ELK架構圖

3.ElkStack環境

1.node1和node2爲elasticsearch集羣(不部署Logstash) 
2.node3收集對象,Nginx、java、tcp、syslog等日誌 
3.node4將logstash日誌寫入Redis,減少程序對elasticsearch依賴性，同時實現程序解耦以及架構擴展。 
4.被收集主機需要部署Logstash。

主機名	IP	JVM	內存	服務
node1.com	192.168.90.201	32G	64G	Elasticsearch、Kibana
node2.com	192.168.90.202	32G	64G	Elasticsearch、Kibana
node3.com	192.168.90.203	32G	64G	Logstash、服務及程序日誌
node4.com	192.168.90.204	32G	64G	Logstash、Redis(消息隊列)

4.ElkStack部署

Elasticsearch、需要Java環境，所以直接使用yum安裝。

1.安裝java

[root@linux-node1 ~]# yum install java
[root@linux-node1 ~]# java -version
openjdk version "1.8.0_101"
OpenJDK Runtime Environment (build 1.8.0_101-b13)OpenJDK 64-Bit Server VM (build 25.101-b13, mixed mode)

2.下載並安裝GPG key

# [root@linux-node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  [root@linux-node1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

3.添加elasticsearch、logstash、kibana的yum倉庫

# 添加elasticsearch的yum倉庫
[root@linux-node1 ~]# cat /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
[logstash-5.x]
name=Elastic repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

4.安裝ElasticSearch

[root@linux-node1 ~]# yum install -y elasticsearch
[root@linux-node1 ~]# yum install -y logstash
[root@linux-node1 ~]# yum install -y kibana

5.yum安裝需要配置limits

[root@linux-node1 ~]# vim /etc/security/limits.conf
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited

4.1配置Elasticsearch

[root@linux-node1 ~]# mkdir -p /data/es-data #創建es數據目錄
[root@linux-node1 ~]# chown -R elasticsearch.elasticsearch /data/es-data/ #授權
[root@linux-node1 /]# grep '^[a-z]' /etc/elasticsearch/elasticsearch.yml
cluster.name: elk-cluter #集羣名稱
node.name: linux-node1  #節點的名稱
path.data: /data/es-data #數據存放路徑
path.logs: /var/log/elasticsearch/  #日誌存放日誌
bootstrap.mlockall: true    #不使用swap分區,鎖住內存
network.host: 192.168.90.201   #允許訪問的IP
http.port: 9200  #elasticsearch訪問端口

4.2運行Elasticsearch

1.啓動elasticsearch

[root@linux-node1 ~]# systemctl start elasticsearch

2.訪問:elasticsearch_url: "http://es-mon-1:9200"

{  
    "name" : "linux-node1",  
    "cluster_name" : "elk-cluter",  
    "version" : {    
        "number" : "2.3.5",    
        "build_hash" : "90f439ff60a3c0f497f91663701e64ccd01edbb4",    
        "build_timestamp" : "2016-07-27T10:36:52Z",    
        "build_snapshot" : false,    
        "lucene_version" : "5.5.0"  
    },  
    "tagline" : "You Know, for Search"
}

4.3Elasticsearch插件

1.安裝Elasticsearch集羣管理插件

[root@linux-node1 ~]# /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head

訪問head集羣插件:http://ES_IP:9200/_plugin/head/ 

es_head插件

2.安裝Elasticsearch監控插件

[root@linux-node3 plugins]# /usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf

訪問kopf監控插件:http://ES_IP:9200/_plugin/kopf 

kopf監控插件

4.4elasticsearch集羣

1.linux-node2配置一個相同的節點，通過組播進行通信，會通過cluster進行查找，如果無法通過組播查詢，修改成單播即可

[root@linux-node2 ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml
cluster.name: elk-cluter
node.name: linux-node2
path.data: /data/es-data
path.logs: /var/log/elasticsearch/
bootstrap.mlockall: true
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.90.201","192.168.90.202"] #單播（配置一臺即可，生產可以使用組播方式）