庫存預佔架構升級方案設計-交易庫存中心 | 京東物流技術團隊

背景介紹

伴隨物流行業的迅猛發展，一體化供應鏈模式的落地，對系統吞吐、系統穩定發出巨大挑戰，庫存作爲供應鏈的重中之重表現更爲明顯。近三年數據可以看出：

接入商家同比增長37.64%、貨品種類同比增長53.66%

貨品數量同比增長46.43%、倉庫數量同比增長18.87%

通過分析過往大促流量，分鐘級流量增長率爲75%，大促倉內反饋三方訂單下傳不及時，庫存預佔吞吐量和性能是導致訂單積壓因素之一。目前庫存使用mysql數據庫作爲接單預佔的扛量手段，隨着一體化供應鏈建設以及重點KA商家不斷接入，現有庫存架構在業務支撐上存在風險和缺陷。

此外未來3到5年業務增長、流量增長預計增長5-10倍。爲避免系統性能和技術架構缺陷導致業務損失，輕量級庫存架構勢在必行。

// 名詞解釋：

庫存預佔：是指消費者拍下商品訂單後，庫存先爲該訂單短暫預留，預留的庫存即爲預佔庫存。

架構原則

架構：是⾯向問題，解決問題的手段。庫存系統的問題: 非功能性：1.高併發 2.系統穩定性(容災) 3.數據一致性功能性: 1.業務複雜 2.數據一致性

系統設計

設計思路

當前庫存系統瓶頸在哪裏？：抗寫流量，數據庫成爲瓶頸點。
如何解決系統瓶頸？：由高併發組件Redis替代數據庫。
利用Redis需要解決哪些問題？：防超賣，異步寫數據庫保證最終一致性。

總體設計

扛量部分：庫存性能瓶頸在預佔，傳統架構主要依靠數據庫事務保持數據一致以及數據讀寫；新版架構設計將數據扛量部分移植到Redis，利用Redis高性能吞吐解決高併發場景下數據讀寫。
數據回寫：Redis進行扛量削峯，後續數據僅用於記賬，最終犧牲數據的短暫一致性達到削峯的目的。
差異部分：老版本庫存預佔設計僅依靠數據進行數據處理，新版設計依靠切量配置建數據切換到Redis，利用Redis高讀寫進行削峯操作。

詳細設計

主流程：

庫存初始化：競態條件利用Redis watch命令來實現鎖等待，解決併發場景數據不一致問題。
LUA執行器：將原子操作指令/複用指令封裝到LUA腳本中以減少網絡開銷。
補償機制：i> 執行流程中所有業務異常發生時會同步發起反向操作請求；ii> 反向操作執行異常後會提交異步反向操作任務；**iii>**異步任務執行異常後，依賴監q控系統掃描異常單據或異常庫存並修改異常庫存量

回溯回寫：任務落庫後發出mq組裝參數調用數據回寫服務，數據回寫服務操作庫存數量；同時回寫redis數據，釋放預佔量庫存數據；更新任務庫數據狀態

數據結構

庫存記錄索引：{deptNo|goodsNo|warehouseNo}|stockStatus|stockType|goodsLevel
hashTag：{deptNo|goodsNo|warehouseNo}|stockStatus|stockType|goodsLevel
可售庫存數量：usableKey：{庫存記錄索引}
扣減庫存量：usableSubtractKey：{庫存記錄索引} ，記錄Redis到DB執行期間減庫存量
預佔防重key：operateKey：{庫存記錄索引：單號} 防重key防併發重複請求
回滾防重：rollbackOperateKey：{庫存記錄索引}
缺量預佔庫存量：ullageOperateKey：{庫存記錄索引}
扣減庫存單據記錄：hSetrecord: {庫存記錄索引}

key	預佔	缺量預佔	回滾	回寫
可售庫存數量	-	-	+	不變
扣減庫存量	+	+	-	-
預佔防重key	+	+	-	不變
回滾防重	不變	不變	+	不變
缺量預佔庫存量	不變	+	反向	不變
扣減庫存單據記錄	+	+	-	-

Redis&DB

首先進行redis&從庫數據比對，若存在差異則對主庫進行校驗
比對過程中，DB中sku明細行進行鎖定(for update)，比對邏輯爲DB可用庫存量==(Redis可用庫存量+Redis預佔量)
有差異，報警且觸發SDK可用量過期，同時矯正預佔量

容災方案

// 對系統容錯/降級、監控機制(空間換穩定性，兩份redis，故障3次丟數)，流量分佈材料，618流量大、峯值數據切量。數據不一致，多個商家，不能超過5分。

預佔任務持久化：mysql需要將核心屬性字段數據持久化：事業部，商品編碼，倉編碼，等級，庫存類型，庫存狀態，預佔庫存量，任務狀態;調度執行完成後需要更新stockTask狀態爲完成

初始化：

(1) lock db

(2) sum stockTask

(3)使用DB可用庫存初始化Redis可用庫存，stockTask預佔量初始化Redis預佔量

(4)Redis庫存回滾，如果預佔量key不存在，該key不需要回滾

性能結果

23年618大促

切量細則

冷熱數據

OMS庫存冷熱裝置

預佔架構升級切量重點key監控

庫存預佔架構升級切量商家

架構升級切量商家明細2

已切量商家

反向切量

原有設計中存在以下名單

禁止切量商家：優先級較高，一旦在名單中，禁止切量

批次庫存商家：批次庫存管理商家，目前該部分能力尚未建設

動態質押商家：物流金融業務，目前該部分能力尚未建設切量名單商家：該部分爲切量商家

原有切量流程：！禁止切量->！批次庫存->！動態質押->切量名單中，通過以上校驗爲切量商家。

原有流程在增量商家中需要手動將商家配置到切量名單中才可進行切量操作，對於新增商家場景操作不變，且原有流程中邏輯庫存名單爲痛點：邏輯庫存的啓用配置在事業部主數據中，不在庫存側。

新版切量流程中對切量名單進行優化，將原來切量名單商家拆分成非邏輯庫存名單、邏輯庫存兩個名單，其中：

非邏輯庫存名單：包含可切量商家

邏輯庫存名單：邏輯庫存商家，該部分不可切量

原流程新流程對切量商家名單進行優化，拆分成非邏輯庫存名單、邏輯庫存兩個名單

構建模型(批次庫存&內存模型待續)

Redis存儲數據結構

MD生成規則工具集

◦邏輯庫存MD5工具

     StringBuffer md5Key = new StringBuffer();
     md5Key.append(logicWarehouseStock.getGoodsNo()+"_"+logicWarehouseStock.getWarehouseNo()+"_"+logicWarehouseStock.getOwnerNo()+
             "_"+logicWarehouseStock.getDeptNo()+"_"+logicWarehouseStock.getStockType()+"_"+logicWarehouseStock.getGoodsLevel());
     if(StringUtils.isBlank(logicWarehouseStock.getFactor1())){
         md5Key.append("_0");
     }else {
         md5Key.append("_"+logicWarehouseStock.getFactor1());
     }
     if(StringUtils.isBlank(logicWarehouseStock.getFactor2())){
         md5Key.append("_0");
     }else {
         md5Key.append("_"+logicWarehouseStock.getFactor2());
     }
     if(StringUtils.isBlank(logicWarehouseStock.getFactor3())){
         md5Key.append("_0");
     }else {
         md5Key.append("_"+logicWarehouseStock.getFactor3());
     }
     if(StringUtils.isBlank(logicWarehouseStock.getFactor4())){
         md5Key.append("_0");
     }else {
         md5Key.append("_"+logicWarehouseStock.getFactor4());
     }
     if(logicWarehouseStock.getYn()== null){
      md5Key.append("_1");
     }else {
         md5Key.append("_"+logicWarehouseStock.getYn());
     }
     md5Key.toString().hashCode()

批次庫存MD5工具

public void fillMd5Value(){
        StringBuffer md5Key = new StringBuffer();
        md5Key.append(warehouseNo);
        md5Key.append("_");
        md5Key.append(goodsNo);
        md5Key.append("_");
        md5Key.append(goodsLevel);
        md5Key.append("_");
        md5Key.append(stockType);
        //遍歷類字段不遍歷map是爲了控制MD5的組成順序
        Class clazz = BatchAttrStock.class;
        Field[] fields = clazz.getDeclaredFields();
        try {
            int batchFieldCount = 0 ;
            for (Field field : fields){
                BatchAttrEnum attrEnum = BatchAttrEnum.batchFieldEnumMap.get(field.getName());
                //不是批屬性的字段不進入MD5的組成
                if (attrEnum == null){
                    continue;
                }
                batchFieldCount ++;
                field.setAccessible(true);
                Object value = field.get(this);
                if (value == null ){
                    md5Key.append("0");
                    continue;
                }
                if(field.getType().toString().contains("String")){
                    md5Key.append(value);
                    continue;
                }
                if(field.getType().toString().contains("Date")){
                    Date timeField = (Date) value;
                    md5Key.append(timeField.getTime());
                    continue;
                }
                throw new RuntimeException(attrEnum.getField()+"填充MD5異常");
            }
            //默認50個批屬性長度,長度不夠0補齊
            int remainLength = 50 - batchFieldCount;
            String str = String.format("%0"+remainLength+"d", 0);
            md5Key.append(str);

        }catch (Exception e){
            throw new RuntimeException("填充MD5異常.");
        }

        md5Key.append(yn);
        String md5Value =  MD5Util.md5(md5Key.toString());
        setMd5Value(md5Value);
    }

MD&ID&屬性保存工具

本文篇幅有限，餘下二期進行分享。

作者：京東物流金鵬

來源：京東雲開發者社區自猿其說Tech 轉載請註明來源

庫存預佔架構升級方案設計-交易庫存中心 | 京東物流技術團隊

背景介紹

架構原則

系統設計

設計思路

總體設計

詳細設計

數據結構

Redis&DB

容災方案

性能結果

切量細則

冷熱數據

反向切量

構建模型(批次庫存&內存模型待續)

Redis存儲數據結構

druid數據源 xml配置

北歐瑞典挪威芬蘭瑞士TikTok海外網紅與YouTube博主的合作模式

歐洲英國德國法國TikTok與YouTube海外網紅達人的完美合作策略

意大利西班牙羅馬尼亞葡萄牙海外網紅達人：探索廣告媒介公司的資源與合作機會

官網對業務推廣的好處有哪些？

Java集合中的Set

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結