以電商網站爲例,談大型分佈式架構設計與優化

本文大綱:

1. 使用電商案例的原因

2. 電商網站需求

3. 網站初級架構

4. 系統容量估算

5. 網站架構分析

6. 網站架構優化

本文主題爲電商網站架構案例,將介紹如何從電商網站的需求,到單機架構,逐步演變爲常用的、可供參考的分佈式架構原型。除具備功能需求外,還具備一定的高性能、高可用、可伸縮、可擴展等非功能質量需求(架構目標)。

根據實際需要,進行改造、擴展、支持千萬PV,是沒問題的。

一、使用電商案例的原因

分佈式大型網站,目前看主要有幾類:

  1. 大型門戶(比如網易、新浪等);

  2. SNS網站(比如校內、開心網等);

  3. 電商網站(比如阿里巴巴、京東商城、國美在線、汽車之家等)。

大型門戶一般是新聞類信息,可以使用CDN、靜態化等方式優化。而開心網等交互性比較多,可能會引入更多的NoSQL、分佈式緩存、使用高性能的通信框架等。電商網站具備以上兩類的特點,比如產品詳情可以採用CDN,靜態化,交互性高的需要採用NoSQL等技術。因此,我們採用電商網站作爲案例,進行分析。

二、電商網站需求

客戶需求:

  • 建立一個全品類的電子商務網站(B2C),用戶可以在線購買商品,可以在線支付,也可以貨到付款;

  • 用戶購買時可以在線與客服溝通;

  • 用戶收到商品後,可以給商品打分和評價;

  • 目前有成熟的進銷存系統,需要與網站對接;

  • 希望能夠支持3~5年,業務的發展;

  • 預計3~5年用戶數達到1000萬;

  • 定期舉辦雙11、雙12、三八男人節等活動;

  • 其他的功能參考京東或國美在線等網站。

客戶就是客戶,不會告訴你具體要什麼,只會告訴你他想要什麼,我們很多時候要引導、挖掘客戶的需求。好在提供了明確的參考網站。因此,下一步要進行大量的分析,結合行業以及參考網站,給客戶提供方案。其它的這裏暫不展開。

需求功能矩陣

需求管理傳統的做法,會使用例圖或模塊圖(需求列表)進行需求的描述。這樣做常常忽視掉一個很重要的需求(非功能需求),因此推薦大家使用需求功能矩陣,進行需求描述。

本電商網站的需求矩陣如下:

以上是對電商網站需求的簡單舉例,目的是說明:

  1. 需求分析的時候,要全面,大型分佈式系統重點考慮非功能需求;

  2. 描述一個簡單的電商需求場景,使大家對下一步的分析設計有個依據。

三、網站初級架構

一般網站剛開始的做法,是三臺服務器,一臺部署應用,一臺部署數據庫,一臺部署NFS文件系統。

這是前幾年比較傳統的做法,之前見到一個網站10萬多會員,垂直服裝設計門戶,N多圖片。使用了一臺服務器部署了應用,數據庫以及圖片存儲。出現了很多性能問題。如下圖:

但是,目前主流的網站架構已經發生了翻天覆地的變化。一般都會採用集羣的方式,進行高可用設計。至少是下面這個樣子:

  1. 使用集羣對應用服務器進行冗餘,實現高可用(負載均衡設備可與應用一塊部署);

  2. 使用數據庫主備模式,實現數據備份和高可用。

四、系統容量預估

預估步驟:

  1. 註冊用戶數-日均UV量-每日的PV量-每天的併發量;

  2. 峯值預估:平常量的2~3倍;

  3. 根據併發量(併發,事務數),存儲容量計算系統容量。

客戶需求:3~5年用戶數達到1000萬註冊用戶;

每秒併發數預估:

  1. 每天的UV爲200萬(二八原則);

  2. 每日每天點擊瀏覽30次;

  3. PV量:200*30=6000萬;

  4. 集中訪問量:24*0.2=4.8小時會有6000萬*0.8=4800萬(二八原則);

  5. 每分併發量:4.8*60=288分鐘,每分鐘訪問4800/288=16.7萬(約等於);

  6. 每秒併發量:16.7萬/60=2780(約等於);

  7. 假設:高峯期爲平常值的三倍,則每秒的併發數可以達到8340次;

  8. 1毫秒=1.3次訪問。

沒好好學數學後悔了吧?!(不知道以上算是否有錯誤,呵呵~~)

服務器預估(以Tomcat服務器舉例):

  1. 按一臺Web服務器,支持每秒300個併發計算。平常需要10臺服務器(約等於);[Tomcat默認配置是150]

  2. 高峯期:需要30臺服務器;

容量預估:70/90原則

系統CPU一般維持在70%左右的水平,高峯期達到90%的水平,是不浪費資源,並比較穩定的。內存,IO類似。

以上預估僅供參考,因爲服務器配置,業務邏輯複雜度等都有影響。在此CPU、硬盤、網絡等不再進行評估。

五、網站架構分析

根據以上預估,有幾個問題:

  • 需要部署大量的服務器,高峯期計算,可能要部署30臺Web服務器。並且這三十臺服務器,只有秒殺,活動時纔會用到,存在大量的浪費。

  • 所有的應用部署在同一臺服務器,應用之間耦合嚴重。需要進行垂直切分和水平切分。

  • 大量應用存在冗餘代碼。

  • 服務器Session同步耗費大量內存和網絡帶寬。

  • 數據需要頻繁訪問數據庫,數據庫訪問壓力巨大。

大型網站一般需要做以下架構優化(優化是架構設計時,就要考慮的,一般從架構/代碼級別解決,調優主要是簡單參數的調整,比如JVM調優;如果調優涉及大量代碼改造,就不是調優了,屬於重構):

  • 業務拆分

  • 應用集羣部署(分佈式部署,集羣部署和負載均衡)

  • 多級緩存

  • 單點登錄(分佈式Session)

  • 數據庫集羣(讀寫分離,分庫分表)

  • 服務化

  • 消息隊列

  • 其它技術

六.網站架構優化

1 業務拆分

根據業務屬性進行垂直切分,劃分爲產品子系統、購物子系統、支付子系統、評論子系統、客服子系統、接口子系統(對接如進銷存、短信等外部系統)。

根據業務子系統進行等級定義,可分爲核心系統和非核心繫統。

  • 核心系統:產品子系統、購物子系統、支付子系統;

  • 非核心:評論子系統、客服子系統、接口子系統。

業務拆分作用:提升爲子系統可由專門的團隊和部門負責,專業的人做專業的事,解決模塊之間耦合以及擴展性問題;每個子系統單獨部署,避免集中部署導致一個應用掛了,全部應用不可用的問題。

等級定義作用:用於流量突發時,對關鍵應用進行保護,實現優雅降級;保護關鍵應用不受到影響。

拆分後的架構圖:

參考部署方案2

  1. 如上圖每個應用單獨部署

  2. 核心系統和非核心繫統組合部署

2 應用集羣部署(分佈式,集羣,負載均衡)

分佈式部署:將業務拆分後的應用單獨部署,應用直接通過RPC進行遠程通信;

集羣部署:電商網站的高可用要求,每個應用至少部署兩臺服務器進行集羣部署;

負載均衡:高可用系統必須的,一般應用通過負載均衡實現高可用,分佈式服務通過內置的負載均衡實現高可用,關係型數據庫通過主備方式實現高可用。

集羣部署後架構圖:

3 多級緩存

緩存按照存放的位置一般可分爲兩類本地緩存和分佈式緩存。本案例採用二級緩存的方式,進行緩存的設計。一級緩存爲本地緩存,二級緩存爲分佈式緩存。(還有頁面緩存,片段緩存等,那是更細粒度的劃分)

一級緩存,緩存數據字典,和常用熱點數據等基本不可變/有規則變化的信息;二級緩存緩存需要的所有緩存。當一級緩存過期或不可用時,訪問二級緩存的數據。如果二級緩存也沒有,則訪問數據庫。

緩存的比例,一般1:4,即可考慮使用緩存。(理論上是1:2即可)。

根據業務特性可使用以下緩存過期策略:

  1. 緩存自動過期

  2. 緩存觸發過期

4 單點登錄(分佈式Session)

系統分割爲多個子系統,獨立部署後,不可避免地會遇到會話管理的問題。一般可採用Session同步,Cookies,分佈式Session方式。電商網站一般採用分佈式Session實現。

再進一步可以根據分佈式Session,建立完善的單點登錄或賬戶管理系統。

流程說明:

  1. 用戶第一次登錄時,將會話信息(用戶Id和用戶信息),比如以用戶ID爲Key,寫入分佈式Session;

  2. 用戶再次登錄時,獲取分佈式Session,是否有會話信息,如果沒有則調到登錄頁;

  3. 一般採用Cache中間件實現,建議使用Redis,因此它有持久化功能,方便分佈式Session宕機後,可以從持久化存儲中加載會話信息;

  4. 存入會話時,可以設置會話保持的時間,比如15分鐘,超過後自動超時;

結合Cache中間件,實現的分佈式Session,可以很好的模擬Session會話。

5 數據庫集羣(讀寫分離,分庫分表)

大型網站需要存儲海量的數據,爲達到海量數據存儲,高可用,高性能一般採用冗餘的方式進行系統設計。一般有兩種方式讀寫分離和分庫分表。

讀寫分離:一般解決讀比例遠大於寫比例的場景,可採用一主一備,一主多備或多主多備方式。

本案例在業務拆分的基礎上,結合分庫分表和讀寫分離。如下圖:

  1. 業務拆分後:每個子系統需要單獨的庫;

  2. 如果單獨的庫太大,可以根據業務特性,進行再次分庫,比如商品分類庫,產品庫;

  3. 分庫後,如果表中有數據量很大的,則進行分表,一般可以按照ID,時間等進行分表;(高級的用法是一致性Hash);

  4. 在分庫,分表的基礎上,進行讀寫分離。

相關中間件可參考Cobar(阿里,目前已不在維護),TDDL(阿里),Atlas(奇虎360),MyCat(在Cobar基礎上,國內很多牛人,號稱國內第一開源項目)。

6 服務化

將多個子系統公用的功能/模塊,進行抽取,作爲公用服務使用。比如本案例的會員子系統就可以抽取爲公用的服務。

7 消息隊列

消息隊列可以解決子系統/模塊之間的耦合,實現異步,高可用,高性能的系統,是分佈式系統的標準配置。本案例中,消息隊列主要應用在購物,配送環節。

  1. 用戶下單後,寫入消息隊列,後直接返回客戶端;

  2. 庫存子系統:讀取消息隊列信息,完成減庫存;

  3. 配送子系統:讀取消息隊列信息,進行配送。

目前使用較多的MQ有Active MQ、Rabbit MQ、Zero MQ、MS MQ等,需要根據具體的業務場景進行選擇。建議可以研究下RabbitMQ。

更多詳情可參考社羣過往文章:

  • RabbitMQ高級指南:從配置、使用到高可用集羣搭建
  • 大話消息隊列的流派之爭
  • 一網打盡消息隊列在大型分佈式系統中的實戰精髓
  • 網易蜂巢微服務架構:用RabbitMQ實現輕量級通信

8 其它架構(技術)

除了以上介紹的業務拆分、應用集羣、多級緩存、單點登錄、數據庫集羣、服務化、消息隊列外。還有CDN、反向代理、分佈式文件系統、大數據處理等系統。

此處不詳細介紹,大家可以問度娘/Google,有機會的話也可以分享給大家。

總結

以上是本次分享的架構總結,細節可參考前面分享的內容。其中還有很多可以優化和細化的地方,因爲是案例分享,主要針對重要部分做了介紹,工作中需要大家根據具體的業務場景進行架構設計。希望能對大家有所啓發。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章