每年雙11,天貓成交額都會一次一次地刷新世界紀錄,阿里巴巴核心系統100%上雲,撐住了雙11的世界級流量洪峯。在這一流量戰場上,阿里可謂是華山論劍的最大贏家。今天我把阿里針對淘寶雙十一萬億級流量下的分佈式緩存文檔共享出來,全面解析阿里雙11的武功祕籍。
阿里雙十一的四種應用場景
MDB 典型應用場景
用於緩存,降低對後端數據庫的訪問壓力。
臨時數據存儲,部分數據丟失不會對業務產生較大影響。
讀多寫少,讀qps達到萬級別以上。
FastDump 典型應用場景
週期性地將離線數據快速地導入到Tair集羣中,快速使用到新的數據。
讀取低延遲,不能有毛刺。
LDB 典型應用場景
通用kv存儲,交易快照,安全風控等。
存儲黑白單數據,讀qps很高。
計數器功能,更新非常頻繁,且數據不可丟失。
RDB 典型應用場景
複雜的數據結構的緩存與存儲。
如播放列表,直播間等。
雙十一技術挑戰
訪問峯值增速:Tair峯值 > 交易峯值 > 總GMV
多地域多單元
體驗與成本
穩定性,高可用
性能與成本
內存數據結構
cache meta
slab_mabager
hashmap
pages
鎖的影響
細粒度鎖(fine-grained locks)
無鎖數據結構(lock-free data structures)
CPU本地數據結構(per-CPU data structures)
讀拷貝更新(RCU)
用戶態協議棧+內存合併
客戶端優化
網絡框架替換,適配協程mina =netty吞吐量提升40%+
序列化優化集成kryo和hessian吞吐量提升16%+
內存網格
業務場景讀寫量超大大量本地計算提供高性能計算快速IO能 力
特性數據本地性讀穿透Write Through / Write Behind/merge多單元replication
效果讀取降至27.68%寫入降至55.75%
緩存難題——熱點
緩存擊穿
突發流量熱門商品,店鋪時事新聞各類壓測
緩存被擊穿限流
結局全系統崩潰
根源訪問熱點
熱點散列
熱點類型頻率熱點流量熱點
熱點散列效果
熱點QPS數
熱點流量
熱點集羣散列效果對比
寫熱點
熱點合併實時識別合併寫引擎
阿里巴巴的這個雙十一萬億流量分佈式緩存,完整呈現如何設計響應億級請求。
教你如何構建高併發、大流量系統方能經受起億級線上用戶流量的真實考驗。
由於頭條發文圖片質量可能會受到影響(圖片會被壓縮導致清晰度下降),完整版的阿里雙十一萬億流量分佈式緩存設計,我在這裏做一個開源式的分享,用以幫助到更多想從大廠技術層面徹底提升自身硬實力的互聯網從業者。