Redis緩存與數據庫一致性方案

使用Redis緩存的模式的有很多種,下面就逐一介紹。

一、數據庫和redis分別處理不同的數據類型

數據庫處理要求強一致實時性的數據,例如金融數據、交易數據;
redis處理不要求強一致實時性的數據,例如網站最熱貼排行榜;


二、Cache-Aside模式

Cache-Aside模式的意思是業務代碼直接維護緩存,這是最常用的一類模式。

2.1 讀場景

先從緩存獲取數據,如果緩存沒有命中,則回源到數據庫獲取源數據。

將數據放入到緩存,下次即可從緩存中獲取數據。

放入緩存的可以是異步的(創建一個新的線程),也可以是同步的,根據實際情況自己選擇。


2.2 非高併發情況下的寫場景

先將數據寫入數據庫,寫入成功後立即同步將數據寫入緩存。


2.3 寫多讀少的寫場景

先將數據寫入數據庫,寫入成功後,將緩存數據過期/刪除,下次讀取時再加載緩存。

這樣的好處是避免了不必要的寫緩存操作。


2.4 高併發情況下的寫場景

先寫緩存,再定期更新數據庫:

異步化,先寫入redis的緩存,就直接返回;定期或特定動作將數據保存到mysql,可以做到多次更新,一次保存。


三、Cache-As-SoR(Redis不支持)

SoRsystem of record,記錄系統,或者叫數據源;數據庫是數據源的一種。

Cache-As-SoR即把Cache看作SoR,所有操作都是對Cache進行,然後Cache再委託給SoR進行真實的讀寫。即業務代碼中只看到Cache的操作,看不到關於SoR相關的代碼。

3.1 Read-Through

業務代碼讀Cache,如果不命中,由Cache讀SoR。使用Read-Through模式需要一個CacheLoader組件來回源到SoR加載數據。Guava CacheEhcache 3.X都支持該模式。


3.2 Write-Through

對應Read-Through,需要有一個CacheWriter組件來回寫SoR。Guava Cache不支持,Ehcache 3.X支持該模式。


3.3 Write-Behind

Write-Through 的區別是,Write-Through是同步寫SoR,Write-Behind是異步寫,從而可以實現批量寫合併寫延時寫限流


四、訂閱/曾量更新模式

canal是阿里巴巴旗下的一款開源項目,純Java開發。基於數據庫增量日誌解析,提供增量數據訂閱&消費,目前主要支持了MySQL(也支持mariaDB)。

基於日誌增量訂閱&消費支持的業務:

  1. 數據庫鏡像
  2. 數據庫實時備份
  3. 多級索引 (賣家和買家各自分庫索引)
  4. search build
  5. 業務cache刷新
  6. 價格變化等重要業務消息

4.1 MySQL主備複製原理

這裏寫圖片描述

從上層來看,複製分成三步:

  1. master將改變記錄到二進制日誌binlog中(binary log events可以通過show binlog events進行查看);
  2. slave將master的binlog events拷貝到它的中繼日誌relay log
  3. slave**重做**中繼日誌中的事件,將改變反映它自己的數據。

4.2 canal的工作原理

這裏寫圖片描述

原理相對比較簡單:

  1. canal模擬mysql slave的交互協議,僞裝自己爲mysql slave,向mysql master發送dump請求
  2. mysql master收到dump請求,開始推送binary log給slave(也就是canal);
  3. canal解析binary log對象;

4.3 通過Canal訂閱MySQL的Binlog並更新Redis

這裏寫圖片描述

package com.datamip.canal;

import java.awt.Event;
import java.net.InetSocketAddress;
import java.util.List;

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry.Column;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;
import com.alibaba.otter.canal.protocol.CanalEntry.EventType;
import com.alibaba.otter.canal.protocol.CanalEntry.Header;
import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;
import com.alibaba.otter.canal.protocol.Message;
import com.google.protobuf.InvalidProtocolBufferException;

public class App {

    public static void main(String[] args) throws InterruptedException {

        // 第一步:與canal進行連接
        CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("192.168.23.170", 11111),
                "example", "", "");
        connector.connect();

        // 第二步:開啓訂閱
        connector.subscribe();

        // 第三步:循環訂閱
        while (true) {
            try {
                // 每次讀取 1000 條
                Message message = connector.getWithoutAck(1000);

                long batchID = message.getId();

                int size = message.getEntries().size();

                if (batchID == -1 || size == 0) {
                    System.out.println("當前暫時沒有數據");
                    Thread.sleep(1000); // 沒有數據
                } else {
                    System.out.println("-------------------------- 有數據啦 -----------------------");
                    PrintEntry(message.getEntries());
                }

                // position id ack (方便處理下一條)
                connector.ack(batchID);

            } catch (Exception e) {
                // TODO: handle exception

            } finally {
                Thread.sleep(1000);
            }
        }
    }

    // 獲取每條打印的記錄
    @SuppressWarnings("static-access")
    public static void PrintEntry(List<Entry> entrys) {

        for (Entry entry : entrys) {

            // 第一步:拆解entry 實體
            Header header = entry.getHeader();
            EntryType entryType = entry.getEntryType();

            // 第二步: 如果當前是RowData,那就是我需要的數據
            if (entryType == EntryType.ROWDATA) {

                String tableName = header.getTableName();
                String schemaName = header.getSchemaName();

                RowChange rowChange = null;

                try {
                    rowChange = RowChange.parseFrom(entry.getStoreValue());
                } catch (InvalidProtocolBufferException e) {
                    e.printStackTrace();
                }

                EventType eventType = rowChange.getEventType();

                System.out.println(String.format("當前正在操作 %s.%s, Action= %s", schemaName, tableName, eventType));

                // 如果是‘查詢’ 或者 是 ‘DDL’ 操作,那麼sql直接打出來
                if (eventType == EventType.QUERY || rowChange.getIsDdl()) {
                    System.out.println("rowchange sql ----->" + rowChange.getSql());
                    return;
                }

                // 第三步:追蹤到 columns 級別
                rowChange.getRowDatasList().forEach((rowData) -> {

                    // 獲取更新之前的column情況
                    List<Column> beforeColumns = rowData.getBeforeColumnsList();

                    // 獲取更新之後的 column 情況
                    List<Column> afterColumns = rowData.getAfterColumnsList();

                    // 當前執行的是 刪除操作
                    if (eventType == EventType.DELETE) {
                        PrintColumn(beforeColumns);
                    }

                    // 當前執行的是 插入操作
                    if (eventType == eventType.INSERT) {
                        PrintColumn(afterColumns);
                    }

                    // 當前執行的是 更新操作
                    if (eventType == eventType.UPDATE) {
                        PrintColumn(afterColumns);
                    }
                });
            }
        }
    }

    // 每個row上面的每一個column 的更改情況
    public static void PrintColumn(List<Column> columns) {

        columns.forEach((column) -> {

            String columnName = column.getName();
            String columnValue = column.getValue();
            String columnType = column.getMysqlType();
            boolean isUpdated = column.getUpdated(); // 判斷 該字段是否更新

            System.out.println(String.format("columnName=%s, columnValue=%s, columnType=%s, isUpdated=%s", columnName,
                    columnValue, columnType, isUpdated));

        });

    }
}

需要注意的是,緩存的更新會存在延遲,所以緩存可根據不一致容忍度設置合理的過期時間

發佈了94 篇原創文章 · 獲贊 43 · 訪問量 12萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章