日誌分析系統ELK搭建
ELK
ELK是日誌收集、索引與檢索三件套，包含了三個組件
ElasticSearch
Logstash
Kibana
其中ElasticSearch完成日誌的索引，並提供查詢接口，Logstash完成日誌的收集，Kibana則提供可視化展示
有了ELK，我們不再需要到線上的每一臺機器上grep日誌，而且能可視化查詢任何你想查詢的日誌信息。通過Kibana能非常直接漂亮的展示很多信息，ELK還能作爲監控系統使用。先看看效果圖：
image.png
機器要求
三臺機器，機器的配置視線上日誌量而定
ES集羣：三臺機器
Logstash：一臺機器
Kibana：一臺機器
其中一臺機器不存儲ES數據，這臺機器同時安裝了ES、Logstash和Kibana
架構
系統架構圖如下
image.png
Shipper安裝在每一臺需要收集日誌的客戶機上，即需要在每一臺客戶機上安裝logstash
Redis作爲中轉
Indexer安裝在服務器上
Kibana提供可視化展示
軟件版本
ElasticSearch：5.0.2
Logstash:5.1.1
Kibana:5.0.2
1. Java
1.1 Java版本要求
java版本要求爲1.8+，最低版本爲1.8
1.2 Centos Java版本升級
查看java版本
java -version
如果版本號達不到要求則需要升級java版本
1.2.1 下載java 1.8 jdk
前往地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
下載tar.gz結尾的jdk文件進行下載
1.2.2 上傳至服務器
使用rz命令將下載的jdk8上傳到服務器的/usr/lib/jvm 目錄下
使用命令解壓
tar -xzf jdk-8u111-linux-x64.tar.gz
1.2.3 加入到alternatives列表中
alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0_111/bin/java 400
1.2.4 更改java版本號
alternatives --config java
選擇java 8對應的序號即可。
1.2.5 查看java版本號
1.2.6 卸載系統自帶jdk
如果不卸載會致使elasticsearch沒法運行
詳見：http://linux.it.net.cn/CentOS/server/set/2014/1006/6242.html
2. 安裝Elasticsearch
切記不要以root身份安裝
安裝教程：https://www.elastic.co/guide/en/elasticsearch/reference/5.0/zip-targz.html
選擇通過tar.gz文件安裝
啓動elasticsearch時遇到三種類型的錯誤（WARN）：
log文件寫入無權限，解決辦法：root用戶下chmod加權限
CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER，可以忽略，不影響啓動
max file descriptors，root用戶下修改配置文件vim /etc/security/limits.conf，將soft nofile和hard nofile的值全部改爲65536，保存推出，重新登錄
max virtual memory，root用戶下執行命令sysctl -w vm.max_map_count=262144
java.lang.UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER compiled in
at org.elasticsearch.bootstrap.Seccomp.linuxImpl(Seccomp.java:349) ~[elasticsearch-5.0.2.jar:5.0.2]
at org.elasticsearch.bootstrap.Seccomp.init(Seccomp.java:630) ~[elasticsearch-5.0.2.jar:5.0.2]
at org.elasticsearch.bootstrap.JNANatives.trySeccomp(JNANatives.java:215) [elasticsearch-5.0.2.jar:5.0.2]
at org.elasticsearch.bootstrap.Natives.trySeccomp(Natives.java:99) [elasticsearch-5.0.2.jar:5.0.2]
at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:104) [elasticsearch-5.0.2.jar:5.0.2]
at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:158) [elasticsearch-5.0.2.jar:5.0.2]
at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:291) [elasticsearch-5.0.2.jar:5.0.2]
at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121) [elasticsearch-5.0.2.jar:5.0.2]
at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) [elasticsearch-5.0.2.jar:5.0.2]
at org.elasticsearch.cli.SettingCommand.execute(SettingCommand.java:54) [elasticsearch-5.0.2.jar:5.0.2]
at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:96) [elasticsearch-5.0.2.jar:5.0.2]
at org.elasticsearch.cli.Command.main(Command.java:62) [elasticsearch-5.0.2.jar:5.0.2]
at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:89) [elasticsearch-5.0.2.jar:5.0.2]
at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:82) [elasticsearch-5.0.2.jar:5.0.2]
****
ERROR: bootstrap checks failed
max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
解決完上述問題後退出重新以普通用戶身份登錄，重新啓動elasticsearch
瀏覽器訪問http://ip:port/
這裏的ip和port是在ElasticSearch的配置文件中配置的
訪問效果如下：
image.png
ElasticSearch集羣配置
參考https://my.oschina.net/shyloveliyi/blog/653751
可以在同一臺機器上的不同節點配置集羣，也可以在不同機器上配置集羣，測試中採用的是後一種方式。
實際的配置如下：
cluster.name: es-cluster
node.name: node0
path.data: /tmp/elasticsearch/data
path.logs: /tmp/elasticsearch/logs
network.host: ***
http.port: 9200
discovery.zen.ping.unicast.hosts: ["***"]
該配置說明如下：
cluster.name，集羣名，同一個集羣下配置同一個名字
node.name，節點名，同一個集羣下不同節點配置不同的名稱
path.data，數據存儲目錄，生產環境中需要指定一個容量比較大的磁盤
path.logs，日誌存儲目錄
network.host，本機ip
http.port，默認爲9200
discovery.zen.ping.unicast.hosts，集羣中其他機器的ip地址
配置完畢後重啓ES，另一臺機器上配置類似後重啓，ES即可自動發現。
訪問http://ip:port/_cat/health?v查看集羣狀態
image.png
node.total=2表示集羣中有兩個節點
集羣配置完畢後，集羣間的數據是共享的。即使其中任何一臺機器掛了，通過另一臺機器也能訪問全部的數據。
查看集羣master狀態
http://ip:port/_cat/master?pretty
ElasticSearch刪除索引
使用命令
curl -XDELETE 'http://ip:port/logstash-2016.12.12?pretty'
其中logstash-2016.12.12爲索引名
查看ElasticSearch所有索引
http://ip:port/_cat/indices
ES後臺運行
一般來說我們不希望關閉終端時，ES進程中止，這時需要以後臺運行的方式運行ES
./elasticsearch -d
安裝xpack
鏈接https://www.elastic.co/downloads/x-pack
按照教程來就行，如果下載比較慢，可以先下載到本地然後上傳到服務器。
使用本地文件安裝的命令：
./elasticsearch-plugin install file:///search/odin/xpackfilename
注意：安裝完xpack後會導致訪問es需要認證，可以在配置文件中將其關閉，在elasticsearch.yml中添加如下配置
# x-pack
xpack.security.enabled: false
xpack.monitoring.enabled: true
xpack.graph.enabled: false
xpack.watcher.enabled: false
重啓es即可
3. 安裝logstash
logstash要求java版本爲1.8及以上
安裝過程爲下載tar.gz文件後上傳至服務器
3.1 配置文件
在logstash的config同級目錄下新建etc文件夾用於存放配置文件，新建配置文件es-test.conf，內容如下：
input
{
file
{
path =>"/home/contentdev/elk/test.log"
}
}
output
{
elasticsearch{
hosts => ["ip:port"]
index => "logstash-%{type}-%{+YYYY.MM.dd}"
}
}
具體的釋義見https://www.elastic.co/products/logstash
大致解釋如下：
input：從指定的文件中讀取內容
output：存儲至指定的es中，index爲索引名，自定義
3.2 測試配置文件語法是否正確
執行命令：
./logstash -t -f ../etc/es-test.conf
測試過程中可能遇到如下錯誤：
Could not find any executable java binary. Please install java in your PATH or set JAVA_HOME.
使用命令打印出JAVA_HOME的值：
echo $JAVA_HOME
看看是否正確，如果不正確，則切換到root角色登錄，修改配置文件/etc/profile，在末尾設置JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
export PATH=$PATH:$JAVA_HOME/bin
設置完後執行命令
source /etc/profile
重新以普通用戶的身份登錄，再次執行測試命令即可
3.3 正式啓動logstash
以後臺執行的方式啓動
nohup ./logstash -f ../etc/redis-test.conf --config.reload.automatic &
3.4 寫入測試數據
向/home/contentdev/elk/test.log中寫入測試數據
3.5 訪問elasticsearch
訪問elasticsearch驗證數據是否被存儲
http://ip:port/_search?pretty
3.6 使用grok解析日誌
關於logstash中的grok插件正則表達式的例子詳見：http://blog.csdn.net/liukuan73/article/details/52318243
3.7 服務端logstash配置文件
服務端的logstash可能需要從redis中讀取多個key的日誌信息存儲到不同的ES索引中，這時可以在配置文件中使用type來表示。
input
{
redis { type => "A-nginx-log" host => "***" port => ** password => "***" data_type => "list" key => "A_nginx_log"}
redis { type => "B-nginx-log" host => "***" port => *** password => "***" data_type => "list" key => "B_nginx_log" }
}
output
{
elasticsearch{
hosts => ["ip:port"]
index => "%{type}-%{+YYYY.MM.dd.HH}"
}
}
最終的索引名會包含type，ES的索引名最好能包含日期，這樣方便歸類以及按日期刪除
elasticsearch中的hosts最好是配置爲不存儲數據的那臺機器。
3.8 安裝xpack
安裝命令跟es安裝xpack類似，安裝完畢後需要在配置文件logstash.yml最後加上一行
xpack.monitoring.elasticsearch.url: "http://**:9200"
4. 安裝kibana
安裝流程詳見：https://www.elastic.co/guide/en/kibana/current/targz.html
安裝完畢後需要配置config下的kibana.yml配置文件，配置一下幾項即可：
server.port:5601，打開註釋即可
server.host，配置本機ip，啓動後可以通過ip+端口訪問
elasticsearch.url，配置es的域名（ip）+端口
kibana.index，打開註釋即可
image.png
4.1 啓動kibana
cd到bin目錄，執行下面的命令
nohup ./kibana &
4.2 訪問web頁面
http://ip:port/
如果es中已經存在index，kibana會自動展示出來
4.3 安裝xpack
同elasticsearch安裝xpack教程一樣
安裝完畢後即可在左側看到monitoring等新面板
5. Redis
Redis在ELK系統中可以扮演兩種角色：消息訂閱和消息中轉。Redis存在的意義是爲了解決log寫入ES的瓶頸。
消息訂閱。自行google
消息中轉。該模式下，shipper將日誌內容寫入到redis中，indexer從redis中讀取並存入ES
本次搭建採用第二種模式。需要說明的是，indexer從redis中讀取相應的數據後會將其刪除，不會導致redis中數據的堆積
6. ELK系統監控與報警
ELK系統可能出現的問題
進程死亡
ES進程死亡，如果是logstash indexer寫入的機器ES進程死亡，會導致數據無法存入ES，但不清楚redis中的數據能否被正常消耗
解決辦法：
腳本定時檢查ES進程是否存活，死亡則郵件報警
logstash shipper進程死亡，會導致客戶機的日誌無法被收集
解決辦法：
腳本定時檢查進程是否存活
logstash indexer進程死亡，會導致redis中暫存的數據堆積，撐爆redis
解決辦法：
腳本定時檢查ES進程是否存活，死亡則郵件報警
redis用量預警，如果系統運行正常，redis的用量應該是在一個比較穩定的數值，異常時會導致redis用量激增
機器宕機
檢查redis用量
ES數據存儲磁盤空間不足
使用監控腳本監控磁盤用量並配置報警
總的來說，系統異常可以通過以下方式發現
腳本檢查進程存活狀態
redis用量是否正常
監控腳本上報磁盤使用量
7. ES數據定期刪除
如果不刪除ES數據，將會導致ES存儲的數據越來越多，磁盤滿了之後將無法寫入新的數據。這時可以使用腳本定時刪除過期數據。
#/bin/bash
#es-index-clear
#只保留15天內的日誌索引
LAST_DATA=`date -d "-15 days" "+%Y.%m.%d"`
#刪除上個月份所有的索引
curl -XDELETE 'http://ip:port/*-'${LAST_DATA}'*'
可以視個人情況調整保留的天數，這裏的ip和port同樣設置爲不存儲數據的那臺機器。該腳本只需要在ES中一臺機器定時運行即可。
crontab -e添加定時任務：
0 1 * * * /search/odin/elasticsearch/scripts/es-index-clear.sh
每天的凌晨一點清除索引。
8. 其他
存儲到ES的數據會有一個字段名爲@timestamp，該時間戳和北京時間差了8小時，不需要進行調整，Kibana在展示的時候會自動加上8小時