java陷阱之關於數據同步

需求

需要查詢設備列表。使用redissearch,需要從cannal->kafka->redis

問題

保證數據有序性和一致性(運維那邊不能根據設備id進行分區，到時消息消費時面臨消費的有序性問題)採用的是不使用binlog日誌修改信息,採用通過id在數據庫實時查一次。

但是因爲有些字段高頻修改導致同步的時候大量根據id查詢

解決方式，一個表幾十個字段。做搜索索引的時候,其實不是所有binlog修改日誌都要關注,只針對做索引的字段才關注就行加一層過濾