ELK日誌分析平臺搭建

一、使用背景

當生產環境爲分佈式、很多業務模塊的日誌需要每時每刻查看時

二、環境

系統：centos 6.5

JDK：jdk1.8+

elasticsearch-6.4.2

logstash-6.4.2

kibana-6.4.2

三、安裝

1、安裝JDK

下載JDK：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

本環境下載的是64位tar.gz包，將安裝包拷貝至安裝服務器/usr/local目錄

[root@localhost ~]# cd /usr/local/
[root@localhost local]# tar -zvxf jdk-8u111-linux-x64.tar.gz

配置環境變量

[root@localhost local]# vim /etc/profile

將下面的內容添加至文件末尾（假如服務器需要多個JDK版本，爲了ELK不影響其它系統，也可以將環境變量的內容稍後添加到ELK的啓動腳本中）

JAVA_HOME=/usr/local/jdk1.8.0_111
JRE_HOME=/usr/local/jdk1.8.0_111/jre
CLASSPATH=.:$JAVA_HOME/lib:/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME
export JRE_HOME

環境變量立即生效：

[root@localhost local]# source /etc/profile

2、設置limit相關參數

[root@localhost local]# vim /etc/security/limits.conf
添加以下內容

* soft nproc 1024
* hard nproc 4096
* soft nofile 65536
* hard nofile 65536

3、創建elk用戶，用於運行elk

[root@localhost local]# groupadd elk

[root@localhost local]# useradd -g elk elk

[root@localhost local]# passwd elk

創建elasticsearch運行目錄：

[root@localhost local]# mkdir /elk
[root@localhost local]# chown -R elk:elk /elk

關閉防火牆

[root@localhost local]# service iptables stop

或者在iptables開放端口

[root@localhost local]# vim /etc/sysconfig/iptables

加入：-A INPUT -m state --state NEW -m tcp -p tcp --dport 9200 -j ACCEPT

重啓iptables服務，立即生效配置

[root@localhost local]# service iptables restart

以上全部以root用戶操作

4、安裝elasticsearch

以下由elk用戶操作

以elk用戶登錄服務器

下載ELK安裝包：https://www.elastic.co/downloads，並上傳到服務器放入/elk目錄並解壓，解壓命令：tar -xzvf 包名

配置elasticsearch：

修改如下內容：

保存退出

啓動elasticsearch：

查看是否啓動成功：

用瀏覽器訪問：http://192.168.115.149:9200

elasticsearch安裝完畢

5、安裝logstash

logstash是ELK中負責收集和過濾日誌的

寫入配置：

input{
    file{
        type => "api-app"
        path => "/log/api-app*"
        codec => multiline{
            pattern => "^\["
            negate => true
            what => "previous"
        }
    }
    file{
        type => "api-cxb"
        path => "/log/api-cxb*"
        codec => multiline{
            pattern => "^\["
            negate => true
            what => "previous"
        }
        start_position => "beginning"
    }
}
filter{
    grok{
        match => { "message" => "\[%{TIMESTAMP_ISO8601}\s*%{USER}\] \[%{USERNAME}\] \[%{USERNAME}\] - %{NOTSPACE}, IP: %{IP:ip}" }
    }
    grok{
        match => { "message" => "\[%{TIMESTAMP_ISO8601:date1}\s*%{USER:leve}\] \[%{USERNAME}\] \[%{USERNAME}\] - %{NOTSPACE:request}" }
    }
}
output{
    elasticsearch{
        hosts => ["192.168.115.149:9200"]
        action => "index"
        codec => rubydebug
        index => "%{type}-%{+YYYY.MM.dd}"
        template_name => "%{type}"
    }
}

解釋：

logstash的配置文件須包含三個內容：

input{}：此模塊是負責收集日誌，可以從文件讀取、從redis讀取或者開啓端口讓產生日誌的業務系統直接寫入到logstash

filter{}：此模塊是負責過濾收集到的日誌，並根據過濾後對日誌定義顯示字段

output{}：此模塊是負責將過濾後的日誌輸出到elasticsearch或者文件、redis等

output直接輸出到Elasticsearch

本環境需處理兩套業務系統的日誌