Canal實現廣告緩存數據同步

1、前言

本文章示例代碼是在另一個文章案例的基礎上進行擴展的，另一個文章鏈接：https://blog.csdn.net/pkxwyf/article/details/105363197

2、Canal概述

Canal可以用來監控數據庫數據的變化，從而獲得新增數據，或者修改的數據。canal是應阿里巴巴存在杭州和美國的雙機房部署，存在跨機房同步的業務需求而提出的。阿里系公司開始逐步的嘗試基於數據庫的日誌解析，獲取增量變更進行同步，由此衍生出了增量訂閱&消費的業務。

3、Mysql開啓binlog模式

3.1.1、查看當前mysql是否開啓binlog模式

SHOW VARIABLES LIKE '%log_bin%'

如果log_bin的值爲OFF是未開啓，爲ON是已開啓

3.1.2、修改/etc/my.cnf 需要開啓binlog模式

修改完成之後，重啓mysqld的服務。

3.1.3、登錄MySQL創建賬號用於測試使用

create user canal@'%' IDENTIFIED by 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT,SUPER ON *.* TO
'canal'@'%';
FLUSH PRIVILEGES;

4、Canal服務端安裝和配置

4.1、下載地址Canal

https://github.com/alibaba/canal/releases/tag/canal‐1.0.24

4.2、上傳到linux系統中並解壓縮到指定的目錄 /usr/local/canal

4.3、修改 exmaple下的實例配置

vi conf/example/instance.properties

修改如圖所示的幾個參數

4.4、指定讀取位置

進入MySql中執行下面語句查看binlog所在位置

如果file中binlog文件不爲 mysql-bin.000001 可以重置MySQL

4.5、啓動Canal服務

./bin/startup.sh

4.6、查看日誌文件

cat /usr/local/canal/logs/canal/canal.log

這樣就表示啓動成功了

5、數據監控微服務

當用戶執行數據庫的操作的時候，binlog 日誌會被canal捕獲到，並解析出數據。我們就可以將解析出來的數據進行相應的邏輯處理。我們這裏使用的一個開源的項目，它實現了springboot與canal的集成。比原生的canal更加優雅。開源項目下載地址：
https://github.com/chenqian56131/spring-boot-starter-canal

使用前需要將starter-canal安裝到本地倉庫。我們可以參照它提供的canal-test，進行代碼實現。

5.1、微服務搭建

5.1.1、創建工程模塊xxx_canal，pom引入依賴

<dependency>
    <groupId>com.xpand</groupId>
    <artifactId>starter‐canal</artifactId>
    <version>0.0.1‐SNAPSHOT</version>
</dependency>

5.1.2、創建包並創建啓動類

@SpringBootApplication
@EnableCanalClient
public class CanalApplication {
    public static void main(String[] args) {
        SpringApplication.run(CanalApplication.class, args);
    }
}

5.1.3、編寫application.yml文件

server:
  port: 18083
spring:
  application:
    name: canal
  redis: 
    host: 192.168.33.133
    port: 6379
eureka:
  client:
    service-url:
      defaultZone: http://127.0.0.1:7001/eureka
  instance:
    prefer-ip-address: true
# canal連接信息
canal:
  client:
    instances:
      example:
        host: 192.168.33.133
        port: 11111
        batchSize: 1000

5.1.4、創建監聽類：監聽MySQL數據庫數據變化


/**
 * 監聽MySQL數據庫廣告表數據的變化
 */
@CanalEventListener
public class ContentDataListener {
    /**
     * 自定義監聽
     * @param eventType 事件類型：增刪改事件
     * @param rowData 發生變更的一行數據
     */
    @ListenPoint(
            schema = "content",
            table = {"tb_content"})
    public void contentUpdate(CanalEntry.EventType eventType,
                         CanalEntry.RowData rowData) {
        System.err.println("廣告數據發生變化");
        rowData.getBeforeColumnsList().forEach((c) ‐>
            System.out.println("更改前數據: " + c.getName() + " :: " +             c.getValue()));
        rowData.getAfterColumnsList().forEach((c) ‐>
        System.out.println("更改後數據: " + c.getName() + " :: " + c.getValue()));
    }
}

測試：啓動數據監控微服務，修改content的tb_content表，觀察控制檯輸出。

5.2、工具類

canal給我們提供了rowData.getBeforeColumnsList()和rowData.getAfterColumnsList(), 但有時我們更希望能得到一個map，這樣我們就可以很方便的提取某個字段的值，編寫工具類，實現列集合轉換爲 map

public class CanalUtils {
    /**
     * 列集合轉換爲 map
     * @param columnsList
     * @return
     */
    public static Map<String,String>
    convertToMap(List<CanalEntry.Column> columnsList ) {
        Map<String,String> map=new HashMap( );
        columnsList.forEach(c->map.put( c.getName(),c.getValue()));
        return map;
    }
}

修改監聽類代碼如下：

/**
 * 監聽MySQL數據庫廣告表數據的變化
 */
@CanalEventListener
public class ContentDataListener {
    /**
     * 自定義監聽
     * @param eventType 事件類型：增刪改事件
     * @param rowData 發生變更的一行數據
     */
    @ListenPoint(
            schema = "content",
            table = {"tb_content"})
    public void contentUpdate(CanalEntry.EventType eventType,
                         CanalEntry.RowData rowData) {
        Map<String, String> beforeMap = CanalUtils.convertToMap(
        rowData.getBeforeColumnsList() ); //修改前數據
        System.out.println( "修改前數據"+JSON.toJSONString(beforeMap));
        Map<String, String> afterMap = CanalUtils.convertToMap(
        rowData.getAfterColumnsList()); //修改後數據
        System.out.println( "修改後數據"+JSON.toJSONString(afterMap));
    }
}

5.3、廣告緩存更新

當tb_content（廣告）表的數據發生變化時，清除Nginx緩存數據，重新查詢MySQL獲取廣告數據並更新redis中的廣告數據。

5.3.1 、在/root/lua目錄下創建clear_cache.lua

實現清除Nginx緩存數據，重新查詢MySQL獲取廣告數據並更新redis中的廣告數據

ngx.header.content_type="application/json;charset=utf-8";
local id= ngx.req.get_uri_args()["id"];--提取參數
local cjson= require("cjson"); --加載cjson模塊
local mysql= require("resty.mysql");--加載mysql模塊
local redis= require("resty.redis");--加載redis模塊
local cache_ngx = ngx.shared.dis_cache;
--清除nginx本地緩存廣告數據
cache_ngx:delete('content_cache_'..id);

--讀取mysql中的數據
local db= mysql:new();
local props = {
         host = "192.168.33.133",
         port = 3306,
         database ="數據庫名",
         user ="root",
         password ="root"
 }
db:connect(props);
local select_sql="select pic,url from tb_content where status = '1' and category_id="..id.." order by sort_orde
r ";
local res=db:query(select_sql);
db:close();

--寫入redis
local red= redis:new();
red:connect("192.168.33.133",6379);
red:set("content_"..id,cjson.encode(res));
red:close();
ngx.say("{falg:true,code:20000}");

5.3.2、修改 /usr/local/openresty/nginx/conf/nginx.conf 文件

location /clear_cache {
    content_by_lua_file /root/lua/clear_cache.lua;
}

修改完重新啓動nginx

5.3.3、修改pom.xml文件：導入okhttp依賴

okhttp 是 Square 公司開源的一個非常便捷的輕量級第三方網絡訪問框架。它支持同步請求和異步請求。使用起來也是非常的方便。

  <dependency>
       <groupId>com.squareup.okhttp3</groupId>
       <artifactId>okhttp</artifactId>
       <version>3.9.0</version>
  </dependency>

5.3.4、修改監聽類代碼

/**
 * 監聽MySQL數據庫廣告表數據的變化
 */
@CanalEventListener
public class ContentDataListener {

    @Autowired
    private ContentFeign contentFeign;
    /**
     * 自定義監聽
     * @param eventType 事件類型：增刪改事件
     * @param rowData 發生變更的一行數據
     */
    @ListenPoint(
            schema = "數據庫名",
            table = {"tb_content"})
    public void contentUpdate(CanalEntry.EventType eventType,
                         CanalEntry.RowData rowData) {
        // 獲取更新前數據：刪除和更新
        List<CanalEntry.Column> beforeColumnsList = rowData.getBeforeColumnsList();
        // 獲取更新後數據：添加和更新
        List<CanalEntry.Column> afterColumnsList = rowData.getAfterColumnsList();
        if (afterColumnsList == null || afterColumnsList.size() == 0){ // 刪除
            afterColumnsList = beforeColumnsList;
        }
        // 更改後數據
        Map<String, String> afterMap = CanalUtils.convertToMap(afterColumnsList);
        // 獲得廣告分類id
        long categoryId = Long.parseLong(afterMap.get("category_id"));
        // 清空nginx本地緩存並查詢最新廣告數據到redis中
        clearNginxCache(categoryId);
    }

    /**
     * 清除nginx本地緩存的廣告數據
     */
    public void clearNginxCache(Long categoryId) {
        OkHttpClient okHttpClient=new OkHttpClient();
        String url="http://192.168.33.133/clear_cache?id="+categoryId;
        // 獲取請求對象
        Request request=new Request.Builder().url(url).build();
        // 獲取執行對象
        Call call = okHttpClient.newCall(request);
        call.enqueue(new Callback() {
            @Override
            public void onFailure(Call call, IOException e) {
                // 顯示出錯信息
                e.printStackTrace();
            }
            @Override
            public void onResponse(Call call, Response response) throws
                    IOException {
                System.out.println("清除nginx本地緩存成功:"+response.message());
            }
        });
    }

}

Canal實現廣告緩存數據同步

1、前言

2、Canal概述

3、Mysql開啓binlog模式

3.1.1、查看當前mysql是否開啓binlog模式

3.1.2、修改/etc/my.cnf 需要開啓binlog模式

3.1.3、登錄MySQL創建賬號用於測試使用

4、Canal服務端安裝和配置

4.1、下載地址Canal

4.2、上傳到linux系統中並解壓縮到指定的目錄 /usr/local/canal

4.3、修改 exmaple下的實例配置

4.4、指定讀取位置

4.5、啓動Canal服務

4.6、查看日誌文件

5、數據監控微服務

5.1、微服務搭建

5.2、工具類

5.3、廣告緩存更新

CORS error 但是 status code 是200 OK

壓縮上傳的GPU數據的方案

使用skopeo同步鏡像

SpringCloud之註冊中心微服務搭建

手勢移除控制器(UIPanGestureRecognizer + UINavigationController)

基於SpringBoot微服務代碼生成器

CALayer實例一(時鐘)

RabbitMQ高級特性第4篇-延遲隊列

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結