面試:如何保證接口的冪等性?常見的實現方案有哪些?

來源:http://dwz.date/eCVG

冪等性問題是面試中常見的面試問題,也是分佈式系統最常遇到的問題之一。

在說冪等性之前,我們先來看一種情況,假如老王在某電商平臺進行購物,付款的時候不小心手抖了一下,連續點擊了兩次支付,但此時服務器沒做任何驗證,於是老王賬戶裏面的錢被扣了兩次,這顯然對當事人造成了一定的經濟損失,並且還會讓用戶喪失對平臺的信任。而冪等性問題說的就是如何防止接口的重複無效請求。

看完本文你會了解到:什麼是冪等性?如何保證接口的冪等性?

典型回答

冪等性最早是數學裏面的一個概念,後來被用於計算機領域,用於表示任意多次請求均與一次請求執行的結果相同,也就是說對於一個接口而言,無論調用了多少次,最終得到的結果都是一樣的。比如以下代碼:

public class IdempotentExample {
    // 變量
    private static int count = 0;
    /**
     * 非冪等性方法
     */
    public static void addCount() {
        count++;
    }
    /**
     * 冪等性方法
     */
    public static void printCount() {
        System.out.println(count);
    }
}

對於變量 count 來說,如果重複調用 addCount() 方法的話,會一直累加 count 的值,因爲 addCount() 方法就是非冪等性方法;而 printCount() 方法只是用來打印控制檯信息的。因此,它無論調用多少次結果都是一樣的,所以它是冪等性方法。

知道了冪等性的概念,那如何保證冪等性呢?

冪等性的實現方案通常分爲以下幾類:

  • 前端攔截
  • 使用數據庫實現冪等性
  • 使用 JVM 鎖實現冪等性
  • 使用分佈式鎖實現冪等性

下面我們分別來看它們的具體實現過程。

1. 前端攔截

前端攔截是指通過 Web 站點的頁面進行請求攔截,比如在用戶點擊完“提交”按鈕後,我們可以把按鈕設置爲不可用或者隱藏狀態,避免用戶重複點擊。

核心的實現代碼如下:

<script>
    function subCli(){
        // 按鈕設置爲不可用
        document.getElementById("btn_sub").disabled="disabled";
        document.getElementById("dv1").innerText = "按鈕被點擊了~";
    }
</script>
<body style="margin-top: 100px;margin-left: 100px;">
    <input type="button"  value=" 提 交 "  >
    <div style="margin-top: 80px;"></
div>
</body>

但前端攔截有一個致命的問題,如果是懂行的程序員或者黑客可以直接繞過頁面的 JS 執行,直接模擬請求後端的接口,這樣的話,我們前端的這些攔截就不能生效了。因此除了前端攔截一部分正常的誤操作之外,後端的驗證必不可少。

2. 數據庫實現

數據庫實現冪等性的方案有三個:

  • 通過悲觀鎖來實現冪等性
  • 通過唯一索引來實現冪等性
  • 通過樂觀鎖來實現冪等性

3. JVM 鎖實現

JVM 鎖實現是指通過 JVM 提供的內置鎖如 Lock 或者是 synchronized 來實現冪等性。使用 JVM 鎖來實現冪等性的一般流程爲:首先通過 Lock 對代碼段進行加鎖操作,然後再判斷此訂單是否已經被處理過,如果未處理則開啓事務執行訂單處理,處理完成之後提交事務並釋放鎖,執行流程如下圖所示:

JVM 鎖存在的最大問題在於,它只能應用於單機環境,因爲 Lock 本身爲單機鎖,所以它就不適應於分佈式多機環境。

4. 分佈式鎖實現

分佈式鎖實現冪等性的邏輯是,在每次執行方法之前先判斷是否可以獲取到分佈式鎖,如果可以,則表示爲第一次執行方法,否則直接捨棄請求即可,執行流程如下圖所示:

分佈式鎖執行流程圖

需要注意的是分佈式鎖的 key 必須爲業務的唯一標識,我們通常使用 Redis 或者 ZooKeeper 來實現分佈式鎖;如果使用 Redis 的話,則用 set 命令來創建和獲取分佈式鎖,執行示例如下:

127.0.0.1:6379> set lock true ex 30 nx
OK # 創建鎖成功

其中,ex 是用來設置超時時間的;而 nx 是 not exists 的意思,用來判斷鍵是否存在。如果返回的結果爲“OK”,則表示創建鎖成功,否則表示重複請求,應該捨棄。更多關於 Reids 實現分佈式的內容可以查看第 20 課時的內容。

考點分析

冪等性問題看似“高大上”其實說白了就是如何避免重複請求提交的問題,出於安全性的考慮,我們必須在前後端都進行冪等性驗證,同時冪等性問題在日常工作中又特別常見,解決的方案也有很多,但考慮到分佈式系統情況,我們應該優先使用分佈式鎖來實現。

和此知識點相關的面試題還有以下這些:

  • 冪等性需要注意什麼問題?
  • 實現冪等性的關鍵步驟有哪些?
  • 說一說數據庫實現冪等性的執行細節?

知識擴展

1. 冪等性注意事項

冪等性的實現與判斷需要消耗一定的資源,因此不應該給每個接口都增加冪等性判斷,要根據實際的業務情況和操作類型來進行區分。例如,我們在進行查詢操作和刪除操作時就無須進行冪等性判斷。查詢操作查一次和查多次的結果都是一致的,因此我們無須進行冪等性判斷。刪除操作也是一樣,刪除一次和刪除多次都是把相關的數據進行刪除(這裏的刪除指的是條件刪除而不是刪除所有數據),因此也無須進行冪等性判斷。

2. 冪等性的關鍵步驟

實現冪等性的關鍵步驟分爲以下三個:

  • 每個請求操作必須有唯一的 ID,而這個 ID 就是用來表示此業務是否被執行過的關鍵憑證,例如,訂單支付業務的請求,就要使用訂單的 ID 作爲冪等性驗證的 Key;
  • 每次執行業務之前必須要先判斷此業務是否已經被處理過;
  • 第一次業務處理完成之後,要把此業務處理的狀態進行保存,比如存儲到 Redis 中或者是數據庫中,這樣才能防止業務被重複處理。

3. 數據庫實現冪等性

使用數據庫實現冪等性的方法有三種:

  • 通過悲觀鎖來實現冪等性
  • 通過唯一索引來實現冪等性
  • 通過樂觀鎖來實現冪等性

接下來我們分別來看這些實現方式的具體執行過程。

① 悲觀鎖

使用悲觀鎖實現冪等性,一般是配合事務一起來實現,在沒有使用悲觀鎖時,我們通常的執行過程是這樣的,首先來判斷數據的狀態,執行 SQL 如下:

select status from table_name where ;

然後再進行添加操作:

insert into table_name (id) values ('xxx');

最後再進行狀態的修改:

update table_name set status='xxx';

但這種情況因爲是非原子操作,所以在高併發環境下可能會造成一個業務被執行兩次的問題,當一個程序在執行中時,而另一個程序也開始狀態判斷的操作。因爲第一個程序還未來得及更改狀態,所以第二個程序也能執行成功,這就導致一個業務被執行了兩次。

在這種情況下我們就可以使用悲觀鎖來避免問題的產生,實現 SQL 如下所示:

begin;  # 1.開始事務
select * from table_name where for update; # 2.查詢狀態
insert into table_name (id) values ('xxx'); # 3.添加操作
update table_name set status='xxx'# 4.更改操作
commit; # 5.提交事務

在實現的過程中需要注意以下兩個問題:

  • 如果使用的是 MySQL 數據庫,必須選用 innodb 存儲引擎,因爲 innodb 支持事務;
  • id 字段一定要是主鍵或者是唯一索引,不然會鎖表,影響其他業務執行。

② 唯一索引

我們可以創建一個唯一索引的表來實現冪等性,在每次執行業務之前,先執行插入操作,因爲唯一字段就是業務的 ID,因此如果重複插入的話會觸發唯一約束而導致插入失敗。在這種情況下(插入失敗)我們就可以判定它爲重複提交的請求。

唯一索引表的創建示例如下:

CREATE TABLE `table_name` (
  `id` int NOT NULL AUTO_INCREMENT,
  `orderid` varchar(32) NOT NULL DEFAULT '' COMMENT '唯一id',
  PRIMARY KEY (`id`),
  UNIQUE KEY `uq_orderid` (`orderid`) COMMENT '唯一約束'
) ENGINE=InnoDB;

③ 樂觀鎖

樂觀鎖是指在執行數據操作時(更改或添加)進行加鎖操作,其他時間不加鎖,因此相比於整個執行過程都加鎖的悲觀鎖來說,它的執行效率要高很多。

樂觀鎖可以通過版本號來實現,例如以下 SQL:

update table_name set version=version+1 where version=0;

小結

冪等性不但可以保證程序正常執行,還可以杜絕一些垃圾數據以及無效請求對系統資源的消耗。本課時我們講了冪等性的 6 種實現方式,包括前端攔截、數據庫悲觀鎖實現、數據唯一索引實現、數據庫樂觀鎖實現、JVM 鎖實現,以及分佈式鎖的實現等方案,其中前端攔截無法防止懂行的人直接繞過前端進行模擬請求的操作。因此後端一定要實現冪等性處理,推薦的做法是使用分佈式鎖來實現,這樣的解決方案更加通用。


如果此文對你有所幫助,希望能隨手點個轉發!



End




乾貨分享



這裏爲大家準備了一份小小的禮物,關注公衆號,輸入如下代碼,即可獲得百度網盤地址,無套路領取!

001:《程序員必讀書籍》
002:《從無到有搭建中小型互聯網公司後臺服務架構與運維架構》
003:《互聯網企業高併發解決方案》
004:《互聯網架構教學視頻》
006:《SpringBoot實現點餐系統》
007:《SpringSecurity實戰視頻》
008:《Hadoop實戰教學視頻》
009:《騰訊2019Techo開發者大會PPT》

010: 微信交流羣


我就知道你“在看”






本文分享自微信公衆號 - JAVA日知錄(javadaily)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章