大型網站架構演化

一、大型網站軟件系統的特點

  • 高併發,大流量
  • 高可用
  • 海量數據
  • 用戶分佈廣泛,網絡情況複雜
  • 安全環境惡劣
  • 需求快速變更,發佈頻繁
  • 漸進式發展

二、大型網站架構演化發展歷程

2.1 初始階段的網站架構

小型網站最開始時沒有太多人訪問,只需要一臺服務器就綽綽有餘。這裏,應用程序,數據庫,文件等所有的資源都在一臺服務器上。通常服務器操作系統使用Linux,應用程序使用PHP開發,然後部署在Apache服務器上,數據庫使用Mysql,彙集各種免費開源軟件及一臺廉價服務器就可以開始網站的發展之路了。

2.2 應用服務和數據服務分離

隨着網站業務的發展,一臺服務器逐漸還能滿足需要:越來越多的用戶訪問導致性能越來越差,越來越多的數據導致存儲空間不足。這裏就需要將應用和數據分離。應用 和數據分離後整個網站使用三臺服務器:應用服務器,文件服務器和數據庫服務器。

這三臺服務器對硬件資源的要求各不相同:
* 應用服務器需要處理大師的業務邏輯,因此需要更快更強大的CPU;
* 數據庫服務器需要快速磁盤檢索和數據緩存,因此需要更快的硬盤和更大的內存;
* 文件服務器需要存儲大量用戶上傳的文件,因此需要更大的硬盤;
*

2.3 使用緩存改善網站性能

網站訪問特點和現實世界的財富分配一樣遵循二八定律:80%的業務訪問集中在20%的數據上。如,淘寶買家瀏覽的端口集中在少部分成交數多,評價良好的商品上;百度搜索關鍵詞集中在少部分熱門詞彙上。

既然大部分的業務訪問集中在一小部分數據上,那麼如果把這一小部分數據緩存在內存中,可以減少數據庫的訪問壓力,提高整個網站的數據訪問數度,改變數據庫的寫入性能了。

網站緩存可以分爲兩種:緩存在應用服務器上的本地緩存和緩存在專門的健在式緩存服務器上的遠程緩存。
* 本地緩存的訪問速度更快一些,但是愛應用服務器內存限制,其緩存數據量有限,而且會出現和應用程序急用內存的情況。
* 遠程分佈式緩存可以使用集羣的方式,部署大內存的服務器作爲專門的緩存服務器,可以在理論上做到不受內存容量限制的緩存服務。
*

2.4 使用應用服務器集羣改善網站的併發處理能力

單一應用服務器能夠處理的請求連接有限,在網站訪問高斯,應用服務器成爲整個網站的瓶頸。

使用集羣是網站解決高併發、海量數據問題的常用手段。對網站架構而言,只要能通過增加一隻服務器的方式改善負載壓力,就可以以同樣的方式持續增加服務器不斷改善系統性能,從而實現系統的可伸縮性。應用服務器實現集羣是網站可伸縮集羣架構設計中較爲簡單成熟的一種。

通過負載均衡調試服務器,可將來自用戶瀏覽器的訪問請求分發到應用服務器集羣中的任何一臺服務器上,如果有更多的用戶,就在集羣中加入更多的應用服務器,使應用服務器的負載壓力不再成爲網站的瓶頸。

2.5 數據庫讀寫分離

網站在使用緩存後,使絕大部分數據讀操作訪問都可以不通過數據庫就能完成,但仍有一部分讀操作(緩存訪問不命中,或緩存過期)和全部的寫操作需要訪問數據庫,在網站的用戶達到一定規模後數據庫因爲負載壓力過高而成爲網站的瓶頸。

目前大部分的主流數據庫都提供評價熱備功能,通過配置兩臺數據庫主從關係,可以將一臺數據庫服務器的數據更新同步到另一臺數據庫上。網站利用數據庫的這一功能,實現數據庫讀寫分離,從而發病數據庫負載壓力。具體實現:

  • 應用服務器在寫數據的時候,訪問主數據庫,主數據庫通過主從複製機制將數據更新同步到從數據庫,這樣當應用服務器讀數據庫的時候,就可以通過從數據庫獲得數據。爲了便於應用程序訪問讀寫分離後的數據庫,通常在應用服務器端使用專門的數據庫訪問模塊,使數據庫讀寫分離對應用透明。
  • *

2.6 使用反向代理和CDN回事網站響應

網站訪問延遲和用戶流失率正相關,爲了提供更好的用戶體驗,網站需要加速網站訪問速度,主要手段有使用CDN和反向代理。
* CDN和反向代理的基本原理都是緩存,區別在於CDN部署在網絡提供商的機房,使用戶在請求網站時,可以從距離自己最近的網絡提供商機房獲取數據;
* 反向代理則部署在網站的中心機房,當用戶請求到達中心機房後,首先訪問的服務器是反向代理服務器,如果反向代理服務器中緩存着用戶請求的資源,就將其直接返回給用戶。
* 使用CDN和反向代理的目的都是遲早返回數據給用戶,一方面加快用戶訪問速度,另一方面也減輕後端服務器的負載壓力。
*

2.7 使用分佈式文件系統和分佈式數據庫系統

任何強大的單一服務器都滿足不也大型網站持續增長的業務需求。數據庫經過讀寫分離後,從一臺服務器拆分成兩臺數據庫,但是隨着網站業務的發展依然還能滿足需求,這裏需要使用分佈式數據庫。文件系統也一樣,需要使用分佈式文件系統。

2.8 使用NoSQL和搜索引擎

隨着網站業務越來越複雜,對數據存儲和檢索的需求也越來越複雜,網站需要採用一些非關係數據庫技術如NoSQL和非數據庫查詢技術如搜索引擎。

NoSQL和搜索引擎都是源自互聯網的技術手段,對可伸縮的分佈式特性具有更好的支持。應用服務器則通過一個統一數據訪問模塊訪問各種數據,減輕應用程序管理諸多數據源的麻煩。

2.9 業務拆分

大型網站爲了應對日益複雜的業務場景,通過使用分而治之的手段將整個網站業務分成不同的產品線,如大型購物交易網站就會將首頁、商鋪、訂單、買家、賣家等拆分成不同的產品線,分歸不同的業務團隊負責。

具體到技術上,也會根據產品線劃分,將一個網站拆分成許多不同的應用,每個應用部署維護。應用之間可以通過一個超鏈接建立關係,也可以通過消息隊列進行數據分發,當然最多的還是通過訪問同一個數據存儲系統來構成一個關聯的完整系統。

2.10 分佈式服務

隨着業務拆分越來越小,存儲系統越來越大,應用系統的整體複雜度呈現指數級增加,部署維護越來越困難。由於所有應用要和所有數據庫系統連接,在數萬臺服務器規模的網站中,這些連接的數目是服務器規模的平方,相當龐大。

既然每一個應用系統都需要執行許多相同的業務操作,比如用戶管理,商品管理等,那麼可以將這些共用的業務提取出來,獨立部署。由這些可利用的業務連接數據庫,提供共用業務服務,而應用系統只需要管理用戶界面,通過分佈式服務調用共用業務服務完成具體業務操作即可。

2.11 雲計算的發展

既然大型網站架構解決了海量數據的管理和高併發事務的處理,那麼就可以把這些解決方案應用到網站自身以外的業務上去。

我們看到目前許多大型網站都建設了雲計算平臺,將計算作爲一種基礎資源出售,中小網站不需要再關心技術架構問題,只需要按需付費,就可以使網站隨着業務的增長逐漸獲得更大的存儲空間和更多的計算資源。

三、小結

  • 驅動大型網站技術發展的主要力量是網站的業務發展
  • 不要企圖用技術解決所有問題,能控制住併發訪問量,很多棘手的問題也就迎刃而解了。
  • 現在越來越多的小型網站從建立之初就是搭建在大型網站提供的雲計算服務基礎之上,所需要一切技術資源:計算、存儲、網絡都可以按需購買,線性伸縮,不需要自己一點一點地拼湊各種資源。
發佈了104 篇原創文章 · 獲贊 108 · 訪問量 38萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章