【最佳實踐】阿里雲Logstash JDBC實現Elasticsearch與關係型數據庫保持數據同步

整體概述:

阿里雲 logstash-input-jdbc 插件是實現阿里雲 Elasticsearch 與 RDS 關係型數據庫數據同步的關鍵,本質是通過 Logstash JDBC 輸入插件,運行一個循環來定期對 RDS 進行輪詢,從而找到在此次循環上次迭代後插入或更改的記錄,如讓其正確運行,必須滿足如下條件:

1、 在將 RDS 中的文檔寫入 Elasticsearch 時,Elasticsearch 中的 "_id" 字段必須設置爲 RDS 中的 "id" 字段。這可在 RDS 記錄與 Elasticsearch 文檔之間建立一個直接映射關係,如果在 RDS 中更新了某條記錄,那麼將會在 Elasticsearch 中覆蓋整條相關記錄。

注意,在 Elasticsearch 中覆蓋文檔的效率與更新操作的效率一樣高,因爲從內部原理




發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章