Logstatsh數據同步

Logstash

Logstash是elastic技術棧中的一個技術。它是一個數據採集引擎，可以從數據庫採集數據到es中。我們可以通過設置自增id主鍵或者時間來控制數據的自動同步，這個id或者時間就是用於給logstash進行識別的

• id：假設現在有1000條數據，Logstatsh識別後會進行一次同步，同步完會記錄這個id爲1000，以後數據庫新增數據，那麼id會一直累加，Logstatsh會有定時任務，發現有id大於1000了，則增量加入到es中
• 時間：同理，一開始同步1000條數據，每條數據都有一個字段，爲time，初次同步完畢後，記錄這個time，下次同步的時候進行時間比對，如果有超過這個時間的，那麼就可以做同步，這裏可以同步新增數據，或者修改元數據，因爲同一條數據的時間更改會被識別，而id則不會。

安裝Logstash

官方鏈接：
https://www.elastic.co/cn/downloads/past-releases/logstash-6-4-3

• 注：使用Logstatsh的版本號與elasticsearch版本號需要保持一致

插件 logstash-input-jdbc

本插件用於同步，es6.x起自帶，這個是集成在了 logstash中的。所以直接配置同步數據庫的配置文件即可

創建索引

同步數據到es中，前提得要有索引，這個需要手動先去創建，名字隨意。比如：foodie-items

JDK

記得安裝JDK，java -version檢查一下，如果沒有安裝，請安裝一下。

 

數據同步

注意點，updatte時間要大於追蹤時間

數據庫中的數據刪除後，不會同步到elasticsearch上面，可以通過更新時間進行邏輯刪除

input {
    jdbc {
        # 設置 MySql/MariaDB 數據庫url以及數據庫名稱
        jdbc_connection_string => "jdbc:mysql://192.168.1.6:3306/foodie-shop-dev?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"
        # 用戶名和密碼
        jdbc_user => "root"
        jdbc_password => "root"
        # 數據庫驅動所在位置，可以是絕對路徑或者相對路徑
        jdbc_driver_library => "/usr/local/logstash-6.4.3/sync/mysql-connector-java-5.1.41.jar"
        # 驅動類名
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 開啓分頁
        jdbc_paging_enabled => "true"
        # 分頁每頁數量，可以自定義
        jdbc_page_size => "10000"
        # 執行的sql文件路徑
        statement_filepath => "/usr/local/logstash-6.4.3/sync/foodie-items.sql"
        # 設置定時任務間隔  含義：分、時、天、月、年，全部爲*默認含義爲每分鐘跑一次任務
        schedule => "* * * * *"
        # 索引類型
        type => "_doc"
        # 是否開啓記錄上次追蹤的結果，也就是上次更新的時間，這個會記錄到 last_run_metadata_path 的文件
        use_column_value => true
        # 記錄上一次追蹤的結果值
        last_run_metadata_path => "/usr/local/logstash-6.4.3/sync/track_time"
        # 如果 use_column_value 爲true， 配置本參數，追蹤的 column 名，可以是自增id或者時間
        tracking_column => "updated_time"
        # tracking_column 對應字段的類型
        tracking_column_type => "timestamp"
        # 是否清除 last_run_metadata_path 的記錄，true則每次都從頭開始查詢所有的數據庫記錄
        clean_run => false
        # 數據庫字段名稱大寫轉小寫
        lowercase_column_names => false
    }
}
output {
    elasticsearch {
        # es地址
        hosts => ["192.168.1.187:9200"]
        # 同步的索引名
        index => "foodie-items"
        # 設置_docID和數據相同
        document_id => "%{id}"
    }
    # 日誌輸出
    stdout {
        codec => json_lines
    }
}
```

sql同步腳本

SELECT
    i.id as itemId,
    i.item_name as itemName,
    i.sell_counts as sellCounts,
    ii.url as imgUrl,
    tempSpec.price_discount as price,
    i.updated_time as updated_time
FROM
    items i
LEFT JOIN
    items_img ii
on
    i.id = ii.item_id
LEFT JOIN
    (SELECT item_id,MIN(price_discount) as price_discount from items_spec GROUP BY item_id) tempSpec
on
    i.id = tempSpec.item_id
WHERE
    ii.is_main = 1
    and
    i.updated_time >= :sql_last_value

修改模板如下

{
    "order": 0,
    "version": 1,
    "index_patterns": ["*"],
    "settings": {
        "index": {
            "refresh_interval": "5s"
        }
    },
    "mappings": {
        "_default_": {
            "dynamic_templates": [
                {
                    "message_field": {
                        "path_match": "message",
                        "match_mapping_type": "string",
                        "mapping": {
                            "type": "text",
                            "norms": false
                        }
                    }
                },
                {
                    "string_fields": {
                        "match": "*",
                        "match_mapping_type": "string",
                        "mapping": {
                            "type": "text",
                            "norms": false,
                            "analyzer": "ik_max_word",
                            "fields": {
                                "keyword": {
                                    "type": "keyword",
                                    "ignore_above": 256
                                }
                            }
                        }
                    }
                }
            ],
            "properties": {
                "@timestamp": {
                    "type": "date"
                },
                "@version": {
                    "type": "keyword"
                },
                "geoip": {
                    "dynamic": true,
                    "properties": {
                        "ip": {
                            "type": "ip"
                        },
                        "location": {
                            "type": "geo_point"
                        },
                        "latitude": {
                            "type": "half_float"
                        },
                        "longitude": {
                            "type": "half_float"
                        }
                    }
                }
            }
        }
    },
    "aliases": {}
}

新增如下配置，用於更新模板，設置中文分詞

# 定義模板名稱
template_name => "myik"
# 模板所在位置
template => "/usr/local/logstash-6.4.3/sync/logstash-ik.json"
# 重寫模板
template_overwrite => true
# 默認爲true，false關閉logstash自動管理模板功能，如果自定義模板，則設置爲false
manage_template => false

重新運行Logstash進行同步

./logstash -f /usr/local/logstash-6.4.3/sync/logstash-db-sync.conf