Docker+ELK6.8.4+僞集羣虛擬環境搭建

安裝Docker的過程不說了直接進入主題！

虛擬機內存至少調成兩個G

搭建elasticsearch

拉取鏡像

docker pull elasticsearch:6.8.4

運行ES

docker run -it --name elasticsearch -d -p 9200:9200 -p 9300:9300 -p 5601:5601 elasticsearch:6.8.4

查看結果：

http://你的ip:9200/

安裝Kibana

docker run -it -d -e ELASTICSEARCH_URL=http://127.0.0.1:9200 --name kibana --network=container:elasticsearch kibana:6.8.4

查看結果

http://你的ip:5601/app/kibana

安裝logstash

上傳安裝包到你想的目錄下，這裏使用/usr/local作爲安裝目錄

解壓安裝包

.tar –zxvf  logstash-6.8.4.tar.gz -C logstash

連接mysql準備 進入目錄

cd logstash

執行以下命令 安裝

bin/logstash-plugin install logstash-input-jdbc

bin/logstash-plugin install logstash-output-elasticsearch

一個 logstash 實例可以藉助 pipelines 機制同步多個表，只需要寫多個配置文件就可以了，假設我們有兩個表 table1 和 table2，對應兩個配置文件 sync_table1.conf 和 sync_table2.conf

在 config/pipelines.yml 中配置

- pipeline.id: table1

  path.config: "config/sync_table1.conf"

- pipeline.id: table2

  path.config: "config/sync_table2.conf"

下面是conf文件內容，放在config目錄下

input {
  jdbc {
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://192.168.0.104:3306/qut_goods?useSSL=FALSE&serverTimezone=UTC&allowPublicKeyRetrieval=true"
    jdbc_user => "root"
    jdbc_password => "980302"
    schedule => "* * * * *"
    statement => "SELECT * FROM qut_product WHERE updated_time >= :sql_last_value"
    use_column_value => true
    tracking_column_type => "timestamp"
    tracking_column => "updated_time"
    last_run_metadata_path => "syncpoint_table"
  }
}


output {
    elasticsearch {
        # ES的IP地址及端口?
        hosts => ["192.168.100.131:9200","192.168.100.131:9201"]
        # 索引名稱 可自定義
        index => "goods"
        # 需要關聯的數據庫中有有一個id字段，對應類型中的id
        document_id => "%{id}"
        document_type => "goods"
    }
    stdout {
        # JSON格式輸出
        codec => json_lines
    }
}

將mysql驅動包放在/usr/local/logstash/logstash-core/lib/jars/目錄下

搭建僞集羣環境

修改系統配置文件

vi /etc/sysctl.conf
//添加
vm.max_map_count=655360
//保存生效
sysctl -p
//修改
vi /etc/security/limits.conf
//添加
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
//修改
vi /etc/security/limits.d/20-nproc.conf //不同系統文件名稱不一，最好進入看看文件名
//修改爲Centos7不需要默認爲4096
soft    nproc     4096
//最後登出用戶重新進入生效

創建文件夾

mkdir -p es/config
cd es
mkdir data1
mkdir data2
--需要關閉防火牆
firewall-cmd --add-port=9300/tcp
firewall-cmd --add-port=9301/tcp
mkdir  plugins1
mkdir  plugins2
將es文件夾賦予權限，6版本以下的應該不需要賦予權限
chmod -R 777 es

在es/config分別放入es1.yml、es2.yml

Es1:
cluster.name: elasticsearch-cluster
node.name: es-node1
network.bind_host: 0.0.0.0
network.publish_host: 192.168.212.252
http.port: 9200
transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.212.252:9300","192.168.212.252:9301"]
discovery.zen.minimum_master_nodes: 1

Es2:
cluster.name: elasticsearch-cluster
node.name: es-node2
network.bind_host: 0.0.0.0
network.publish_host: 192.168.212.252
http.port: 9201
transport.tcp.port: 9301
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.212.252:9300","192.168.212.252:9301"]
discovery.zen.minimum_master_nodes: 1

啓動容器1

docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d  -p 9200:9200 -p 9300:9300 -p 5601:5601 -v /usr/local/es/config/es1.yml:/usr/share/elasticsearch/config/elasticsearch.yml  -v /usr/local/es/plugins1:/usr/share/elasticsearch/plugins    -v /usr/local/es/data1:/usr/share/elasticsearch/data --name ES01 elasticsearch:6.8.4

容器2

docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9201:9201 -p 9301:9301 -v /usr/local/es/config/es2.yml:/usr/share/elasticsearch/config/elasticsearch.yml  -v /usr/local/es/plugins2:/usr/share/elasticsearch/plugins    -v /usr/local/es/data2:/usr/share/elasticsearch/data --name ES02 elasticsearch:6.8.4

測試集羣效果

http://ip/_cat/nodes?pretty

啓動Kibana

docker run -it -d -e ELASTICSEARCH_URL=http://127.0.0.1:9200 --name kibana --network=container:ES01 kibana:6.8.4

啓動logstash

##進入目錄
./bin/logstash  -f
./bin/logstash    ##後臺

注意重啓logstash需要刪除data目錄下的東西