ELK6.5+Beats6.5+Kafka2.1.0集羣搭建

環境架構

對於能安裝Beats的設備，我們直接使用Beats來收集日誌，對於不能安裝Beats的設備（例如防火牆、交換機等），我們配置Rsyslog遠程傳輸到Logstash收集端，最後都發送到Kafka隊列裏。

一、 Elasticsearch集羣部署

系統類型：Centos7.5
節點IP：172.16.244.25、172.16.244.26、172.16.244.27
軟件版本：jdk-8u121-linux-x64.tar.gz、elasticsearch-6.5.4.tar.gz
示例節點：172.16.244.25

1. 安裝配置jdk8

ES運行依賴jdk8

tar zxvf /usr/local/package/jdk-8u121-linux-x64.tar.gz -C /usr/local/
echo '
JAVA_HOME=/usr/local/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
' >>/etc/profile
source /etc/profile

2. 安裝配置ES

（1）創建運行ES的普通用戶

useradd elsearch 
echo "******" | passwd --stdin "elsearch"

（2）安裝配置ES

tar zxvf /usr/local/package/elasticsearch-6.5.4.tar.gz -C /usr/local/ 
echo '
cluster.name: bjbpe01-elk
node.name: elk01
node.master: true
node.data: true
path.data: /opt/data/elasticsearch/data
path.logs: /opt/data/elasticsearch/logs
bootstrap.memory_lock: true
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["172.16.244.26", "172.16.244.27"]
discovery.zen.minimum_master_nodes: 2
discovery.zen.ping_timeout: 150s
discovery.zen.fd.ping_retries: 10
client.transport.ping_timeout: 60s
http.cors.enabled: true
http.cors.allow-origin: "*"
' >>/usr/local/elasticsearch-6.5.4/config/elasticsearch.yml

配置項含義：

cluster.name        集羣名稱，各節點配成相同的集羣名稱。
node.name       節點名稱，各節點配置不同。
node.master     指示某個節點是否符合成爲主節點的條件。
node.data       指示節點是否爲數據節點。數據節點包含並管理索引的一部分。
path.data       數據存儲目錄。
path.logs       日誌存儲目錄。
bootstrap.memory_lock       內存鎖定，是否禁用交換。
bootstrap.system_call_filter    系統調用過濾器。
network.host    綁定節點IP。
http.port       rest api端口。
discovery.zen.ping.unicast.hosts    提供其他 Elasticsearch 服務節點的單點廣播發現功能。
discovery.zen.minimum_master_nodes  集羣中可工作的具有Master節點資格的最小數量，官方的推薦值是(N/2)+1，其中N是具有master資格的節點的數量。
discovery.zen.ping_timeout      節點在發現過程中的等待時間。
discovery.zen.fd.ping_retries        節點發現重試次數。
http.cors.enabled               是否允許跨源 REST 請求，用於允許head插件訪問ES。
http.cors.allow-origin              允許的源地址。

（3）設置JVM堆大小

sed -i 's/-Xms1g/-Xms4g/' /usr/local/elasticsearch-6.5.4/config/jvm.options
sed -i 's/-Xmx1g/-Xmx4g/' /usr/local/elasticsearch-6.5.4/config/jvm.options

注意：
確保堆內存最小值（Xms）與最大值（Xmx）的大小相同，防止程序在運行時改變堆內存大小。
如果系統內存足夠大，將堆內存最大和最小值設置爲31G，因爲有一個32G性能瓶頸問題。
堆內存大小不要超過系統內存的50%

（4）創建ES數據及日誌存儲目錄

mkdir -p /opt/data/elasticsearch/data
mkdir -p /opt/data/elasticsearch/logs

chown -R elsearch:elsearch /opt/data/elasticsearch
chown -R elsearch:elsearch /usr/local/elasticsearch-6.5.4

3.系統優化

（1）增加最大文件打開數

永久生效方法：
echo”* - nofile 65536” >> /etc/security/limits.conf

（2）增加最大進程數

echo “* soft nproc 31717” >> /etc/security/limits.conf

（3）增加最大內存映射數

echo “vm.max_map_count=262144” >> /etc/sysctl.conf
sysctl –p

4.啓動ES

su - elsearch -c "cd /usr/local/elasticsearch-6.5.4 && nohup bin/elasticsearch &"
測試：瀏覽器訪問http://172.16.244.25:9200

5.安裝配置head監控插件

（1）安裝node

wget https://npm.taobao.org/mirrors/node/latest-v4.x/node-v4.4.7-linux-x64.tar.gz
tar -zxf node-v4.4.7-linux-x64.tar.gz –C /usr/local
echo ‘
NODE_HOME=/usr/local/node-v4.4.7-linux-x64
PATH=$NODE_HOME/bin:$PATH
export NODE_HOME PATH
‘ >>/etc/profile
source /etc/profile
node –version   #檢查node版本號

（2）下載head插件

wget https://github.com/mobz/elasticsearch-head/archive/master.zip
unzip –d /usr/local elasticsearch-head-master.zip

（3）安裝grunt

cd /usr/local/elasticsearch-head-master
npm install -g grunt-cli
grunt –version  #檢查grunt版本號

（4）修改head源碼

vi /usr/local/elasticsearch-head-master/Gruntfile.js

添加hostname，注意在上一行末尾添加逗號
vi /usr/local/elasticsearch-head-master/_site/app.js

原本是http://localhost:9200 ，如果head和ES不在同一個節點，注意修改成ES的IP地址

（5）下載head必要的文件

wget https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
yum -y install bzip2
tar -jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /tmp/

（6）運行head

cd /usr/local/elasticsearch-head-master/
npm install
nohup grunt server &

（7）測試

訪問http://172.16.244.25:9100

二、 Kibana部署

系統類型：Centos7.5
節點IP：172.16.244.28
軟件版本：nginx-1.14.2、kibana-6.5.4-linux-x86_64.tar.gz

1. 安裝配置Kibana

（1）安裝

tar zxf /usr/local/package/kibana-6.5.4-linux-x86_64.tar.gz -C /usr/local/

（2）配置

echo '
server.port: 5601
server.host: "172.16.244.28"
elasticsearch.url: "http://172.16.244.25:9200"
kibana.index: ".kibana"
'>>/usr/local/kibana-6.5.4-linux-x86_64/config/kibana.yml

配置項含義：

server.port kibana服務端口，默認5601
server.host kibana主機IP地址，默認localhost
elasticsearch.url   用來做查詢的ES節點的URL，默認http://localhost:9200
kibana.index        kibana在Elasticsearch中使用索引來存儲保存的searches, visualizations和dashboards，默認.kibana

其他配置項可參考：
https://www.elastic.co/guide/en/kibana/6.5/settings.html

（3）啓動

cd /usr/local/kibana-6.5.4-linux-x86_64/
nohup ./bin/kibana &

2. 安裝配置Nginx反向代理

（1）配置YUM源：

rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

（2）安裝：

yum install -y nginx httpd-tools
注意：httpd-tools用於生成nginx認證訪問的用戶密碼文件

（3）配置反向代理

cat /etc/nginx/nginx.conf

user  nginx;
worker_processes  4;
error_log  /var/log/nginx/error.log;
pid        /var/run/nginx.pid;
worker_rlimit_nofile 65535;

events {
    worker_connections  65535;
    use epoll;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;
    server_names_hash_bucket_size 128;
    autoindex on;

    sendfile        on;
    tcp_nopush     on;
    tcp_nodelay on;

    keepalive_timeout  120;
    fastcgi_connect_timeout 300;
    fastcgi_send_timeout 300;
    fastcgi_read_timeout 300;
    fastcgi_buffer_size 64k;
    fastcgi_buffers 4 64k;
    fastcgi_busy_buffers_size 128k;
    fastcgi_temp_file_write_size 128k;

    #gzip模塊設置
    gzip on; #開啓gzip壓縮輸出
    gzip_min_length 1k;    #最小壓縮文件大小
    gzip_buffers 4 16k;    #壓縮緩衝區
    gzip_http_version 1.0;    #壓縮版本（默認1.1，前端如果是squid2.5請使用1.0）
    gzip_comp_level 2;    #壓縮等級
    gzip_types text/plain application/x-javascript text/css application/xml;    #壓縮類型，默認就已經包含textml，所以下面就不用再寫了，寫上去也不會有問題，但是會有一個warn。
    gzip_vary on;
    #開啓限制IP連接數的時候需要使用
    #limit_zone crawler $binary_remote_addr 10m;
    #tips:
    #upstream bakend{#定義負載均衡設備的Ip及設備狀態}{
    #    ip_hash;
    #    server 127.0.0.1:9090 down;
    #    server 127.0.0.1:8080 weight=2;
    #    server 127.0.0.1:6060;
    #    server 127.0.0.1:7070 backup;
    #}
    #在需要使用負載均衡的server中增加 proxy_pass http://bakend/;
    server {
        listen       80;
        server_name  172.16.244.28;

        #charset koi8-r;

       # access_log  /var/log/nginx/host.access.log  main;
        access_log off;

         location / {  
             auth_basic "Kibana";   #可以是string或off，任意string表示開啓認證，off表示關閉認證。
             auth_basic_user_file /etc/nginx/passwd.db;   #指定存儲用戶名和密碼的認證文件。
             proxy_pass http://172.16.244.28:5601;
             proxy_set_header Host $host:5601;  
             proxy_set_header X-Real-IP $remote_addr;  
             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  
             proxy_set_header Via "nginx";  
                     }
         location /status { 
             stub_status on; #開啓網站監控狀態 
             access_log /var/log/nginx/kibana_status.log; #監控日誌 
             auth_basic "NginxStatus"; } 

         location /head/{
             auth_basic "head";
             auth_basic_user_file /etc/nginx/passwd.db;
             proxy_pass http://172.16.244.25:9100;
             proxy_set_header Host $host:9100;
             proxy_set_header X-Real-IP $remote_addr;
             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
             proxy_set_header Via "nginx";
                         }  

        # redirect server error pages to the static page /50x.html
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

（4）配置授權用戶和密碼

htpasswd -cm /etc/nginx/passwd.db

（5）啓動nginx

systemctl start nginx

瀏覽器訪問http://172.16.244.28 剛開始沒有任何數據，會提示你創建新的索引。

三、 Kafka部署

系統類型：Centos7.5
節點IP：172.16.244.31、172.16.244.32、172.16.244.33
軟件版本：jdk-8u121-linux-x64.tar.gz、kafka_2.11-2.1.0.tgz
示例節點：172.16.244.31

1.安裝配置jdk8

（1）Kafka、Zookeeper（簡稱：ZK）運行依賴jdk8

tar zxvf /usr/local/package/jdk-8u121-linux-x64.tar.gz -C /usr/local/
echo '
JAVA_HOME=/usr/local/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
' >>/etc/profile
source /etc/profile

2.安裝配置ZK

Kafka運行依賴ZK，Kafka官網提供的tar包中，已經包含了ZK，這裏不再額下載ZK程序。

（1）安裝

tar zxvf /usr/local/package/kafka_2.11-2.1.0.tgz -C /usr/local/

（2）配置

sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties
echo '
dataDir=/opt/data/zookeeper/data 
dataLogDir=/opt/data/zookeeper/logs
clientPort=2181 
tickTime=2000 
initLimit=20 
syncLimit=10 
server.1=172.16.244.31:2888:3888
server.2=172.16.244.32:2888:3888
server.3=172.16.244.33:2888:3888
'>>/usr/local/kafka_2.11-2.1.0/config/zookeeper.properties

配置項含義：

dataDir ZK數據存放目錄。
dataLogDir  ZK日誌存放目錄。
clientPort  客戶端連接ZK服務的端口。
tickTime        ZK服務器之間或客戶端與服務器之間維持心跳的時間間隔。
initLimit       允許follower(相對於Leaderer言的“客戶端”)連接並同步到Leader的初始化連接時間，以tickTime爲單位。當初始化連接時間超過該值，則表示連接失敗。
syncLimit   Leader與Follower之間發送消息時，請求和應答時間長度。如果follower在設置時間內不能與leader通信，那麼此follower將會被丟棄。
server.1=172.16.244.31:2888:3888    2888是follower與leader交換信息的端口，3888是當leader掛了時用來執行選舉時服務器相互通信的端口。

#創建data、log目錄
mkdir -p /opt/data/zookeeper/{data,logs}
#創建myid文件
echo 1 > /opt/data/zookeeper/data/myid

3.配置Kafka

（1）配置

sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.1.0/config/server.properties
echo '
broker.id=1
listeners=PLAINTEXT://172.16.244.31:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=172.16.244.31:2181,172.16.244.32:2181,172.16.244.33:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
' >>/usr/local/kafka_2.11-2.1.0/config/server.properties

配置項含義：

broker.id   每個server需要單獨配置broker id，如果不配置系統會自動配置。
listeners       監聽地址，格式PLAINTEXT://IP:端口。
num.network.threads 接收和發送網絡信息的線程數。
num.io.threads          服務器用於處理請求的線程數，其中可能包括磁盤I/O。
socket.send.buffer.bytes    套接字服務器使用的發送緩衝區(SO_SNDBUF)
socket.receive.buffer.bytes 套接字服務器使用的接收緩衝區(SO_RCVBUF)
socket.request.max.bytes        套接字服務器將接受的請求的最大大小(防止OOM)
log.dirs        日誌文件目錄。
num.partitions  partition數量。
num.recovery.threads.per.data.dir       在啓動時恢復日誌、關閉時刷盤日誌每個數據目錄的線程的數量，默認1。
offsets.topic.replication.factor        偏移量話題的複製因子（設置更高保證可用），爲了保證有效的複製，偏移話題的複製因子是可配置的，在偏移話題的第一次請求的時候可用的broker的數量至少爲複製因子的大小，否則要麼話題創建失敗，要麼複製因子取可用broker的數量和配置複製因子的最小值。
log.retention.hours 日誌文件刪除之前保留的時間（單位小時），默認168
log.segment.bytes   單個日誌文件的大小，默認1073741824
log.retention.check.interval.ms 檢查日誌段以查看是否可以根據保留策略刪除它們的時間間隔。
zookeeper.connect   ZK主機地址，如果zookeeper是集羣則以逗號隔開。
zookeeper.connection.timeout.ms     連接到Zookeeper的超時時間。

#創建log目錄
mkdir -p /opt/data/kafka/logs

4.其他節點配置

只需把配置好的安裝包直接分發到其他節點，然後修改ZK的myid，Kafka的broker.id和listeners就可以了。

5.啓動、驗證ZK集羣

（1）啓動

在三個節點依次執行：

cd /usr/local/kafka_2.11-2.1.0/
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

（2）驗證

查看ZK配置

# echo conf | nc 127.0.0.1 2181
clientPort=2181
dataDir=/opt/data/zookeeper/data/version-2
dataLogDir=/opt/data/zookeeper/logs/version-2
tickTime=2000
maxClientCnxns=60
minSessionTimeout=4000
maxSessionTimeout=40000
serverId=1
initLimit=20
syncLimit=10
electionAlg=3
electionPort=3888
quorumPort=2888
peerType=0

查看ZK狀態

# echo stat|nc 127.0.0.1 2181
Zookeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 00:39 GMT
Clients:
 /127.0.0.1:51876[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0
Received: 2
Sent: 1
Connections: 1
Outstanding: 0
Zxid: 0x0
Mode: follower
Node count: 4

查看端口

# lsof -i:2181
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    15002 root   98u  IPv4  43385      0t0  TCP *:eforward (LISTEN)

6.啓動、驗證Kafka

（1）啓動

在三個節點依次執行：

cd /usr/local/kafka_2.11-2.1.0/
nohup bin/kafka-server-start.sh config/server.properties &

（2）驗證

在172.16.244.31上創建topic

# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic
Created topic "testtopic".

查詢172.16.244.31上的topic

# bin/kafka-topics.sh --zookeeper 172.16.244.31:2181 --list               
testtopic

查詢172.16.244.32上的topic

# bin/kafka-topics.sh --zookeeper 172.16.244.32:2181 --list 
testtopic

查詢172.16.244.33上的topic

# bin/kafka-topics.sh --zookeeper 172.16.244.33:2181 --list 
testtopic

模擬消息生產和消費
發送消息到172.16.244.31

# bin/kafka-console-producer.sh --broker-list 172.16.244.31:9092 --topic testtopic  
>Hello World!

從172.16.244.32接受消息

# bin/kafka-console-consumer.sh --bootstrap-server  172.16.244.32:9092 --topic testtopic --from-beginning 
Hello World!

四、 Logstash部署

系統類型：Centos7.5
節點IP：172.16.244.31
軟件版本：jdk-8u121-linux-x64.tar.gz、logstash-6.5.4.tar.gz

1.安裝配置Logstash

Logstash運行同樣依賴jdk，本次爲節省資源，故將Logstash安裝在了kafka244.31節點。

（1）安裝

tar zxf /usr/local/package/logstash-6.5.4.tar.gz -C /usr/local/

（2）配置

創建目錄，我們將所有input、filter、output配置文件全部放到該目錄中。

mkdir –p /usr/local/logstash-6.5.4/etc/conf.d
vi /usr/local/logstash-6.5.4/etc/conf.d/input.conf
input {
kafka {
    type => "audit_log"
    codec => "json"
    topics => "audit_log"
    decorate_events => true
    bootstrap_servers => "172.16.244.31:9092, 172.16.244.32:9092, 172.16.244.33:9092"
  }
}
vi /usr/local/logstash-6.5.4/etc/conf.d/output.conf
output {
  if [type] == " audit_log " {
      elasticsearch {
      hosts => ["172.16.244.25","172.16.244.26","172.16.244.27"]
      index => 'logstash-audit_log-%{+YYYY-MM-dd}'
      }
    }
  }

（3）啓動

cd /usr/local/logstash-6.5.4
nohup bin/logstash -f etc/conf.d/  --config.reload.automatic &

五、 Beats輸出到Kafka

以Auditbeat爲例，在每個日誌收集節點安裝Auditbeat，具體安裝、配置方法可參考https://blog.51cto.com/fengjicheng/2343882。
下面，介紹下輸出到Kafka涉及的配置。
修改auditbeat.yml配置文件，註釋掉其他的output部分，添加輸出到Kafka的相關配置：

#----------------------------- Kafka output--------------------------------
output.kafka:
  hosts: ["172.16.244.31:9092", "172.16.244.32:9092", "172.16.244.33:9092"]
  topic: 'audit_log'
  partition.round_robin:
    reachable_only: false
  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000

ELK6.5+Beats6.5+Kafka2.1.0集羣搭建

環境架構

一、 Elasticsearch集羣部署

1. 安裝配置jdk8

2. 安裝配置ES

（1）創建運行ES的普通用戶

（2）安裝配置ES

（3）設置JVM堆大小

（4）創建ES數據及日誌存儲目錄

（5）修改安裝目錄及存儲目錄權限

3.系統優化

（1）增加最大文件打開數

（2）增加最大進程數

（3）增加最大內存映射數

4.啓動ES

5.安裝配置head監控插件

（1）安裝node

（2）下載head插件

（3）安裝grunt

（4）修改head源碼

（5）下載head必要的文件

（6）運行head

（7）測試

二、 Kibana部署

1. 安裝配置Kibana

（1）安裝

（2）配置

（3）啓動

2. 安裝配置Nginx反向代理

（1）配置YUM源：

（2）安裝：

（3）配置反向代理

（4）配置授權用戶和密碼

（5）啓動nginx

三、 Kafka部署

1.安裝配置jdk8

（1）Kafka、Zookeeper（簡稱：ZK）運行依賴jdk8

2.安裝配置ZK

（1）安裝

（2）配置

3.配置Kafka

（1）配置

4.其他節點配置

5.啓動、驗證ZK集羣

（1）啓動

（2）驗證

6.啓動、驗證Kafka

（1）啓動

（2）驗證

四、 Logstash部署

1.安裝配置Logstash

（1）安裝

（2）配置

五、 Beats輸出到Kafka