Docker Compose 一鍵 ELK 部署

安裝

  Filebeat 已經完全替代了 Logstash-Forwarder 成爲新一代的日誌採集器，因爲它更加輕量、安全。基於 Filebeat + ELK 的部署方案架構圖如下：
  
  

  軟件版本：

服務	版本	說明
CentOS	7.6
Docker	18.09.5
Docker Compose	1.25.0
ELK	7.5.1
Filebeat	7.5.1

docker-compose 文件

version: "3"
services:
  es-master:
    container_name: es-master
    hostname: es-master
    image: elasticsearch:7.5.1
    restart: always
    ports:
      - 9200:9200
      - 9300:9300
    volumes:
      - ./elasticsearch/master/conf/es-master.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - ./elasticsearch/master/data:/usr/share/elasticsearch/data
      - ./elasticsearch/master/logs:/usr/share/elasticsearch/logs
    environment:
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"

  es-slave1:
    container_name: es-slave1
    image: elasticsearch:7.5.1
    restart: always
    ports:
      - 9201:9200
      - 9301:9300
    volumes:
      - ./elasticsearch/slave1/conf/es-slave1.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - ./elasticsearch/slave1/data:/usr/share/elasticsearch/data
      - ./elasticsearch/slave1/logs:/usr/share/elasticsearch/logs
    environment:
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"

  es-slave2:
    container_name: es-slave2
    image: elasticsearch:7.5.1
    restart: always
    ports:
      - 9202:9200
      - 9302:9300
    volumes:
      - ./elasticsearch/slave2/conf/es-slave2.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - ./elasticsearch/slave2/data:/usr/share/elasticsearch/data
      - ./elasticsearch/slave2/logs:/usr/share/elasticsearch/logs
    environment:
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"

  kibana:
    container_name: kibana
    hostname: kibana
    image: kibana:7.5.1
    restart: always
    ports:
      - 5601:5601
    volumes:
      - ./kibana/conf/kibana.yml:/usr/share/kibana/config/kibana.yml
    environment:
      - elasticsearch.hosts=http://es-master:9200
    depends_on:
      - es-master
      - es-slave1
      - es-slave2

  # filebeat:
  #   # 容器名稱
  #   container_name: filebeat
  #   # 主機名稱
  #   hostname: filebeat
  #   # 鏡像
  #   image: docker.elastic.co/beats/filebeat:7.5.1
  #   # 重啓機制
  #   restart: always
  #   # 持久化掛載
  #   volumes:
  #     - ./filebeat/conf/filebeat.yml:/usr/share/filebeat/filebeat.yml
  #     # 映射到容器中[作爲數據源]
  #     - ./logs:/home/project/spring-boot-elasticsearch/logs
  #     - ./filebeat/logs:/usr/share/filebeat/logs
  #     - ./filebeat/data:/usr/share/filebeat/data
  #   # 將指定容器連接到當前連接，可以設置別名，避免ip方式導致的容器重啓動態改變的無法連接情況
  #   links:
  #     - logstash
  #   # 依賴服務[可無]
  #   depends_on:
  #     - es-master
  #     - es-slave1
  #     - es-slave2

  logstash:
    container_name: logstash
    hostname: logstash
    image: logstash:7.5.1
    command: logstash -f ./conf/logstash-filebeat.conf
    restart: always
    volumes:
      # 映射到容器中
      - ./logstash/conf/logstash-filebeat.conf:/usr/share/logstash/conf/logstash-filebeat.conf
      - ./logstash/ssl:/usr/share/logstash/ssl
    environment:
      - elasticsearch.hosts=http://es-master:9200
      # 解決logstash監控連接報錯
      - xpack.monitoring.elasticsearch.hosts=http://es-master:9200
    ports:
      - 5044:5044
    depends_on:
      - es-master
      - es-slave1
      - es-slave2

  這裏把 Filebeat 給註釋掉了，打算在各個需要蒐集日誌的服務器上面單獨部署 Filebeat。

記得把 Elasticsearch 的 data 和 logs 設置 chmod 777

es-master.yml

# 集羣名稱
cluster.name: es-cluster
# 節點名稱
node.name: es-master
# 是否可以成爲master節點
node.master: true
# 是否允許該節點存儲數據,默認開啓
node.data: false
# 網絡綁定
network.host: 0.0.0.0
# 設置對外服務的http端口
http.port: 9200
# 設置節點間交互的tcp端口
transport.port: 9300
# 集羣發現
discovery.seed_hosts:
  - es-master
  - es-slave1
  - es-slave2
# 手動指定可以成爲 mater 的所有節點的 name 或者 ip，這些配置將會在第一次選舉中進行計算
cluster.initial_master_nodes:
  - es-master
# 支持跨域訪問
http.cors.enabled: true
http.cors.allow-origin: "*"
# 安全認證
xpack.security.enabled: false
#http.cors.allow-headers: "Authorization"

es-slave1.yml

# 集羣名稱
cluster.name: es-cluster
# 節點名稱
node.name: es-slave1
# 是否可以成爲master節點
node.master: true
# 是否允許該節點存儲數據,默認開啓
node.data: true
# 網絡綁定
network.host: 0.0.0.0
# 設置對外服務的http端口
http.port: 9201
# 設置節點間交互的tcp端口
#transport.port: 9301
# 集羣發現
discovery.seed_hosts:
  - es-master
  - es-slave1
  - es-slave2
# 手動指定可以成爲 mater 的所有節點的 name 或者 ip，這些配置將會在第一次選舉中進行計算
cluster.initial_master_nodes:
  - es-master
# 支持跨域訪問
http.cors.enabled: true
http.cors.allow-origin: "*"
# 安全認證
xpack.security.enabled: false
#http.cors.allow-headers: "Authorization"

es-slave2.yml

# 集羣名稱
cluster.name: es-cluster
# 節點名稱
node.name: es-slave2
# 是否可以成爲master節點
node.master: true
# 是否允許該節點存儲數據,默認開啓
node.data: true
# 網絡綁定
network.host: 0.0.0.0
# 設置對外服務的http端口
http.port: 9202
# 設置節點間交互的tcp端口
#transport.port: 9302
# 集羣發現
discovery.seed_hosts:
  - es-master
  - es-slave1
  - es-slave2
# 手動指定可以成爲 mater 的所有節點的 name 或者 ip，這些配置將會在第一次選舉中進行計算
cluster.initial_master_nodes:
  - es-master
# 支持跨域訪問
http.cors.enabled: true
http.cors.allow-origin: "*"
# 安全認證
xpack.security.enabled: false
#http.cors.allow-headers: "Authorization"

logstash-filebeat.conf

input {
    # 來源beats
    beats {
        # 端口
        port => "5044"
        ssl_certificate_authorities => ["/usr/share/logstash/ssl/ca.crt"]
        ssl_certificate => "/usr/share/logstash/ssl/server.crt"
        ssl_key => "/usr/share/logstash/ssl/server.key"
        ssl_verify_mode => "force_peer"
    }
}
# 分析、過濾插件，可以多個
filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
    geoip {
        source => "clientip"
    }
}
output {
    # 選擇elasticsearch
    elasticsearch {
        hosts => ["http://es-master:9200"]
        index => "%{[fields][service]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    }
}

filebeat.yml

filebeat.inputs:
  - type: log
    enabled: true
    paths:
      # 當前目錄下的所有.log文件
      - /root/tmp/logs/*.log
    fields:
      service: "our31-java"
    multiline.pattern: ^\[
    multiline.negate: true
    multiline.match: after
  - type: log
    enabled: true
    paths:
      # 當前目錄下的所有.log文件
      - /root/tmp/log/*.log
    fields:
      service: "our31-nginx"

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

# setup.template.settings:
#   index.number_of_shards: 1

# setup.dashboards.enabled: false

# setup.kibana:
#   host: "http://localhost:5601"

# 不直接傳輸至ES
#output.elasticsearch:
# hosts: ["http://es-master:9200"]
# index: "filebeat-%{[beat.version]}-%{+yyyy.MM.dd}"

setup.ilm.enabled: false

output.logstash:
  hosts: ["logstash.server.com:5044"]
 
  # Optional SSL. By default is off.
  # List of root certificates for HTTPS server verifications
  ssl.certificate_authorities: "./ssl/ca.crt"
  # Certificate for SSL client authentication
  ssl.certificate: "./ssl/client.crt"
  # Client Certificate Key
  ssl.key: "./ssl/client.key"

# processors:
#   - add_host_metadata: ~
#   - add_cloud_metadata: ~

注意

• 生成證書，配置 SSL，讓 Filebeat 與 Logstash 之間建立 SSL。

#生成ca私鑰
openssl genrsa 2048 > ca.key
 
#使用ca私鑰建立ca證書
openssl req -new -x509 -nodes -key ca.key -subj /CN=elkCA\ CA/OU=Development\ group/O=HomeIT\ SIA/DC=elk/DC=com > ca.crt
 
#生成服務器csr證書請求文件
openssl req -newkey rsa:2048 -nodes -keyout server.key -subj /CN=logstash.server.com/OU=Development\ group/O=Home\ SIA/DC=elk/DC=com > server.csr
 
#使用ca證書與私鑰簽發服務器證書
openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -set_serial 01 > server.crt
 
#生成客戶端csr證書請求文件
openssl req -newkey rsa:2048 -nodes -keyout client.key -subj /CN=filebeat.client.com/OU=Development\ group/O=Home\ SIA/DC=elk/DC=com > client.csr
 
#使用ca證書與私鑰簽發客戶端證書
openssl x509 -req -in client.csr -CA ca.crt -CAkey ca.key -set_serial 01 > client.crt

  證書記得放到對應的文件夾中。

• Filebeat 中 output.logstash.hosts 配置的域名要與證書相符。

• 根據不同服務器、不同服務、不同日期動態生成索引

  上面的這張圖片中，加上了一些自定義屬性，這些屬性會傳遞到 Logstash 中，Logstash 會拿到這些屬性動態的向 Elasticsearch 中創建索引，如下圖：

詳細介紹看官方文檔，metadata，動態索引生成。

  這裏本來想使用 indices 來動態生成索引，但是根據官方配置，並沒有成功，哪位兄弟知道可以告知下爲什麼。

• 利用 Nginx Http Basic Authorization 讓 Kibana 需要登錄

  先使用工具 htpasswd 生成用戶信息

$ yum -y install httpd-tools

  創建新密碼文件

  追加用戶信息：

  最後配置好 Nginx 即可：

server {
    ......
    
    auth_basic "Kibana Auth";
    auth_basic_user_file /usr/local/nginx/pwd/kibana/passwd;
    
    ......
}

• 單獨啓動 Filebeat 的方式

$ nohup ./filebeat 2>&1 &

啓動 Docker Compose

  在 docker-compose.yml 所在目錄執行：

$ docker-compose up --build -d