大型網站技術架構

  1. 分層


  分層是企業應用中最常見的一種架構模式,將系統在橫向維度上切分爲幾個部分,每個部分負責一部分相對比較單一的職責,然後通過上層對下層的依賴和調用組成一個完整的系統。


  在大型網站架構中也採用分層結構,將網站軟件系統分爲:應用層、服務層、數據層


·應用層:負責具體的業務和視圖展示,如網站首頁及搜索輸入和結果展示;

·服務層:爲應用層提供服務支持,如用戶管理服務,購物車服務;

·數據層:提供數據存儲訪問服務,如數據庫、緩存、文件、搜索等;


  分層架構必須合理規劃層次邊界和接口,在開發過程中,嚴格遵循分層架構的約束,禁止跨層次的調用(應用層直接調用數據層)及逆向調用(數據層調用服務層,或者服務層調用應用層)。三層結構分別部署在不同的服務器上,使網站擁有更多的計算資源以及越來越多的用戶訪問。在網站的發展過程中,分層結構對網站支持高併發向分佈式方向發展至關重要。因此在網站規模還很小的時候就採用分層結構,這樣將來網站做大時才能更好的應對。



2. 分割


   網站越大,功能越複雜,服務和數據處理的種類越多,講這些不同的功能和服務分割開來,包裝成高內聚低耦合的模塊單元,一方面有助於軟件的開發和維護;另一方面,便於不同模塊的分佈式部署,提高網站的併發處理能力和功能擴展能力。



3. 分佈式


   對於大型網站,分層和分割的一個主要的目的是爲了切分後的模塊便於分佈式部署,即將不同模塊部署在不同的服務器上,通過遠程調用協同工作。分佈式意味着可以使用更多的計算機完成相同的功能,計算機越多,cpu、內存、存儲資源也就越多,能夠處理的併發訪問和數據量就越大,進而能夠爲更多的用戶提供服務。


  分佈式在解決網站高併發問題的同時也帶來了其他問題:


1)分佈式意味着服務調用必須通過網絡,這可能會對性能造成比較嚴重的影響

2)服務器越多,服務器宕機的概率也就越大,一臺服務器宕機造成的服務不可用可能會導致很多應用不可訪問,使網站可用性降低

3)數據在分佈式的環境中保持數據一致性也非常困難分佈式事務也難以保證,這對網站業務的正確性和業務流程可能造成很大的影響;

4)分佈式導致網站依賴錯綜複雜開發管理維護困難


  在網站應用中,常用的分佈式方案有以下幾種:

·分佈式應用和服務:將分層和分割後的應用和服務模塊分佈式部署,可以改善網站性能和併發性、加快開發和發佈速度、減少數據庫連接資源消耗外,還可以使不同的應用複用共同的服務,便於業務功能擴展;

·分佈式靜態資源:網站的靜態資源如JS、CSS、logo圖片等資源獨立分佈式部署,並採用獨立的域名,即動靜分離。靜態資源分佈式部署可以減輕應用服務器的負載壓力;通過使用獨立域名加快瀏覽器併發加載的速度。

·分佈式數據和存儲:對於海量數據,單臺計算機沒法提供如此大的存儲空間,這些數據需要分佈式存儲。爲網站應用而生的各種NoSQL產品幾乎都是分佈式的。

·分佈式計算:目前網站普遍使用Hadoop以及MapReduce分佈式計算框架進行計算。

  

  此外,還有可以支持網站線上服務器配置實時更新的分佈式配置;分佈式環境下實現併發和協調的分佈式鎖;支持雲存儲的分佈式文件系統等;


4. 集羣


  使用分佈式雖然已經將分層和分割後的模塊獨立化部署,但是對於用戶訪問集中的模塊,還需要將獨立部署的服務器集羣化,即多臺服務器部署相同應用構成一個集羣,通過負載均衡設備共同對外提供服務


  因 爲服務器集羣有更多服務器提供相同服務,因此可以提供更好的併發性。當有更多用戶訪問的時候,只需要向集羣中加入新的機器即可。因爲一個應用由多態服務器 提供,當某臺服務器發生故障時,負載均衡設備將請求轉發到集羣中其他服務器上,使服務器故障不影響用戶使用。所以在網站應用中,即使是訪問量很小的分佈式 應用和服務,也至少要部署兩臺服務器構成一個小的集羣,目的是提高系統的可用性。


5. 緩存


  大型網站架構設計在很多方面都是用了緩存設計:

·CDN:即內容分發網絡,部署在距離終端用戶最近的網絡服務商,用戶的網絡請求總是先到達他的網絡服務商哪裏,在這裏緩存網站的一些靜態資源,可以就近以最快的速度返回給用戶,如視頻網站和門戶網站會將訪問量大的熱點內容緩存在CDN。

·反向代理:反向代理屬於網站前端架構的一部分,部署在網站的前端,當用戶請求到達網站的數據中心時,最先訪問到的是反向代理服務器,這裏緩存網站的靜態資源,無需將請求繼續轉發給應用服務器就能返回給用戶。

·本地緩存:在應用服務器本地緩存着熱點數據,應用程序可以在本機內存中直接訪問數據,而無需訪問數據庫。

·分佈式緩存:大型網站的數據量非常龐大,即使只緩存一小部分,需要的內存空間也不是單機能承受的,所以除了本地緩存,還需要分佈式緩存,將數據緩存在一個專門的分佈式緩存集羣中,應用程序通過網絡通信訪問緩存數據



  使用緩存有兩個前提條件,一是數據訪問熱點不均衡,某些數據會被更頻繁的訪問,這些數據應該放在緩存中;二是數據在某個時間段內有效,不會很快過期,否則緩存的數據就會因已經失效而產生髒讀,影響結果的正確性。網站應用中,緩存除了可以加快數據訪問速度,還可以減輕後端應用和數據存儲的負載壓力,這一點對網站數據庫架構至關重要,網站數據庫幾乎都是按照有緩存的前提進行負載能力設計的。



6. 異步


  在大型網站架構中,系統解耦合的手段除了前面提到的分層、分割、分佈等,還有一個重要的手段是異步,業務之間的消息傳遞不是同步調用,而是將一個業務操作分成多個階段,每個階段之間通過共享數據的方式異步執行進行協作


  在單一服務器內部可通過多線程共享內存隊列的方式實現異步,處在業務操作前面的線程將輸出寫入到隊列,後面的線程從隊列中讀取數據進行處理;

  在分佈式系統中,多個服務器集羣通過分佈式消息隊列實現異步,分佈式消息隊列可以看做內存隊列的分佈式部署。


  異步架構是典型的生產者消費者模式,兩者不存在直接調用,只要保持數據結構不變,彼此功能實現可以隨意變化而不相互影響,這對網站擴展新功能非常便利。除此之外,使用異步消息隊列還有如下特性:

·提高系統的可用性:消費者服務器發生故障,數據會在消息隊列服務器中存儲堆積,生產者服務器可以繼續處理業務請求,系統整體表現無故障。消費者服務器恢復正常後,繼續處理消息隊列中的數據。

·加快網站響應速度:處在業務處理前端的生產者服務器在處理完業務請求後,將數據寫入消息隊列,不需要等待消費者服務器處理就可以返回,響應延遲減少。

·消除併發訪問高峯:使用消息隊列將突然增加的訪問請求數據放到消息隊列中,等待消費者服務器依次處理,就不會對整個網站負載造成太大的壓力。

  

  但需要注意的是,使用異步方式處理業務可能會對用戶體驗、業務流程造成影響,需要網站產品設計方面的支持。



7. 冗餘


  網站需要7x24小時連續運行,但是服務器隨時可能出現故障,特別是服務器規模比較大時,出現某臺服務器宕機是必然事件。想要保證在服務器宕機的情況下網 站依然可以繼續服務,不丟失數據,就需要一定程度的服務器冗餘運行,數據冗餘備份,這樣當某臺服務器宕機時,可以將其上的服務和數據訪問轉移到其他機器 上。


  訪問和負載很小的服務也必須部署至少兩臺服務器構成一個集羣,其目的就是通過冗餘實現服務高可用。數據庫除了定期備份,存檔保存,實現冷備份外,爲了保證在線業務高可用,還需要對數據庫進行主從分離,實時同步實現熱備份。


8. 自動化



9. 安全


----新浪微博平臺架構

http://blog.jobbole.com/83459/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章