Windows環境 elk 實現實時同步MySQL數據

環境搭建不在贅述。非常簡單，用的當前最新版本7.9.0

安裝部署Logstash

然後這裏有用的是JDBC型輸入，ES型輸出，所有的細節都體現在一個配置文件裏。在做這個配置文件之前，我們需要到網上下載一個Java的JDBC驅動，我這裏連接的是Mysql數據庫，所以我下載的是mysql-connector-java-5.1.44-bin.jar，這裏沒辦法給鏈接，請自行下載。下載之後，放到C:\logstash\bin下。
然後，在C:\logstash\bin下，創建一個文本文件，寫入以下代碼。

input {
 stdin { }
    jdbc {
        jdbc_connection_string => "jdbc:mysql://localhost:3306/你的數據庫名字"

        jdbc_user => "你的數據庫用戶名"

        jdbc_password => "你的數據庫密碼"

        jdbc_driver_library => "C:/logstash/bin/mysql-connector-java-5.1.44-bin.jar"

        jdbc_driver_class => "com.mysql.jdbc.Driver"

        jdbc_paging_enabled => "true"

        jdbc_page_size => "50000"
        statement => "SELECT id（主鍵）,其他內容 FROM 你的表"
        schedule => "* * * * *"
    }
 }

 output {
     stdout {
        codec => json_lines
    }
    elasticsearch {
        hosts => "localhost:9200"
        index => "你要創建的索引名"
        document_type => "你要創建的索引類型"
        document_id => "%{id}"
    }
}

將這個txt文件改名以及後綴，mysqltoes.conf，然後像之前一樣，cmd裏cd進bin文件夾裏。運行logstash -f mysqltoes.conf即可。
當在小黑屏裏看到你數據庫裏的字段一一出現時，說明已經將數據導入到ES了。

 

然後還可以在Kibana裏查看一下。

這裏的同步數據庫的配置，是會自動更新的，具體配置的含義， 可以去看一下Logstash的輸入輸出插件的文檔，裏面說的很清楚。