ElasticSearch入門（三）Logstash實現MySQL數據同步至ElasticSearch

背景

前一篇中實現了向ElasticSearch中批量插入數據，今天我們體驗下生產環境中常用的Logstash實現MySQL數據庫到ElasticSearch的同步。

數據同步中間件

關於MySQL數據同步至ES，Github上的中間件有：

• alibaba/cannal
• siddontang/go-mysql-elasticsearch
• Logstash（ES官方）

Logstash 是動態數據收集管道，擁有可擴展的插件生態系統。Logstash 是開源的服務器端數據處理管道，能夠同時從多個來源採集數據，轉換數據，然後將數據發送到您最喜歡的“存儲庫”中。

配置準備

• jar包依賴：mysql-connector-java

1. 下載jar包（或直接在本地的Maven倉庫.m2下找）：mysql-connector-java-8.0.19.jar；
2. 將jar包放到logstash-7.5.2目錄下，稍後在配置中指向該路徑；

• 配置MySQL與ES同步

在logstash-7.5.2/config下新建mysql.conf文件：

input{
    jdbc{
        jdbc_driver_library => "../mysql-connector-java-8.0.19.jar"
        jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
        jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/zfjt-oa?serverTimezone=Asia/Shanghai"
        jdbc_user => "root"
        jdbc_password => "root"
        schedule => "* * * * *"
        clean_run => true
        statement => "select * FROM demo_employee WHERE create_time > :sql_last_value AND create_time < NOW() ORDER BY create_time desc"
    }
}

output {
    elasticsearch{
        hosts => ["127.0.0.1:9200"]
        index => "hero"
        document_id => "%{id}"
    }
}

以上配置了連接本地數據庫zfjt-oa，將表demo_employee同步至ES中的hero索引。

開啓同步

• 當然，首先啓動ES，同步前先看下ES中有哪些索引

可以看到僅有一個之前的movie索引。

• 啓動Logstash：在logstash的bin目錄下執行：logstash -f ../config/mysql.conf

檢查同步結果

• 已創建新的索引hero

• 查看索引hero中的數據

這裏方便查看，使用了elasticsearch-head插件

• 在MySQL中改動（CRUD，這裏以新增爲例）一條數據

• 檢查ES中是否同步成功

Done~

下一篇主要介紹兩個常用插件：elasticsearch-head，elasticsearch-analysis-ik

---

If you have any questions or any bugs are found, please feel free to contact me.

Your comments and suggestions are welcome!