Windows环境 elk 实现实时同步MySQL数据

环境搭建不在赘述。非常简单，用的当前最新版本7.9.0

安装部署Logstash

然后这里有用的是JDBC型输入，ES型输出，所有的细节都体现在一个配置文件里。在做这个配置文件之前，我们需要到网上下载一个Java的JDBC驱动，我这里连接的是Mysql数据库，所以我下载的是mysql-connector-java-5.1.44-bin.jar，这里没办法给链接，请自行下载。下载之后，放到C:\logstash\bin下。
然后，在C:\logstash\bin下，创建一个文本文件，写入以下代码。

input {
 stdin { }
    jdbc {
        jdbc_connection_string => "jdbc:mysql://localhost:3306/你的数据库名字"

        jdbc_user => "你的数据库用户名"

        jdbc_password => "你的数据库密码"

        jdbc_driver_library => "C:/logstash/bin/mysql-connector-java-5.1.44-bin.jar"

        jdbc_driver_class => "com.mysql.jdbc.Driver"

        jdbc_paging_enabled => "true"

        jdbc_page_size => "50000"
        statement => "SELECT id（主键）,其他内容 FROM 你的表"
        schedule => "* * * * *"
    }
 }

 output {
     stdout {
        codec => json_lines
    }
    elasticsearch {
        hosts => "localhost:9200"
        index => "你要创建的索引名"
        document_type => "你要创建的索引类型"
        document_id => "%{id}"
    }
}

将这个txt文件改名以及后缀，mysqltoes.conf，然后像之前一样，cmd里cd进bin文件夹里。运行logstash -f mysqltoes.conf即可。
当在小黑屏里看到你数据库里的字段一一出现时，说明已经将数据导入到ES了。

 

然后还可以在Kibana里查看一下。

这里的同步数据库的配置，是会自动更新的，具体配置的含义， 可以去看一下Logstash的输入输出插件的文档，里面说的很清楚。