關於網站大訪問量的幾點構想

關於網站大訪問量的幾點構想


從構架師的角度去分析和解決一個網站可能會出現的問題。


動態網站運營基礎知識的修煉

1、網絡互聯知識

網絡基礎:TCP/IP模型、OSI七層協議模型、路由交換的基本通信原理、路由策略的規劃和部署以及優化路由通信協議、網絡訪問最短路徑優化設計、內外網訪問策略限制

2、Linux服務器知識及各種資源訪問控制策略的制定

服務器基礎、網站組件特性、基本原理、各種瓶頸分析、最優設計、資源最優整合、各種暴力壓力測試、監控報警系統測試、IDS***堅持系統的部署、防火牆部署、內網訪問控制及上網行爲管理策略、核心業務必須制定出詳細上網突發事件的解決方案、一般應急處理方案、最後是組成網站所需的各個節點瓶頸、硬件設備瓶頸、應用軟件的優化解決方案

3、PHP動態編程知識

4、構建開源動態網站組件的選擇及壓力測試。

5、以上知識只具備一點,如只懂linux服務器或者只懂編程都不是最完美的答案,都不能夠被稱之爲一個合格的架構師。因爲僅僅懂某一個知識點是不能夠讓一個網站運行的非常的順利的,更不要說去應對一些突發事件了。所以說對以上知識的儲備從構建一個高質量的動態網站角度來講是非常必須的。要知道,戰場上一把寶劍和千萬把寶劍的威力是不成正比的。

6、最基本也是最重要的,決定你能否在中國大陸成長爲一個頂級的或TOP系列的架構師所必備的核心技能:英語文檔的閱讀及相關的知識點總結靈活應用的能力。因爲權威的、第一手的最新研究成果或者新技術肯定是用英文寫出來的,即使是非英語國家的人員研究出來的也會以英文文檔的形式在國際權威部門發佈的哦!業務時間學習英語已刻不容緩!


大型WEB解決方案

議程:

網絡發展與運營的同時,用戶量、數據量、

訪問量都在不斷的增長,每個快速發展的網站都將面臨執行、效率、高訪問、高併發和高度複雜的數據處理等問題。傳統網站的開發模式已經不能滿足我們的需求。那麼,如何解決網站的大訪問量、大存儲、大數據量、大流量、大負載、瞬間爆發、查詢維度多、動靜分離、訪問速度滯緩等問題呢?


1、如何從一個構架師的角度去分析網站的運營?

2、如何去解決網站運營中出現的突發事件?


網民數量的極具增多和帶寬的限制帶給我們的難題?

2000年左右開始我國的網民數量的增長速度,和2000年開始到現在我國的帶寬的增長速度呈非對稱的比例增長,由此給各個門戶網站,尤其帶給動態網站的壓力以及相關的解決方案已刻不容緩。

總的來說分爲以下幾點:

(1)大的訪問人羣和大的併發量該如何應對?

(2)大的訪問量和併發量帶來的是大量數據的存儲以及索引讀取,如何去解決一個動態網站大的存儲量?大的數據量?數據庫一般是構成動態網站的主要瓶頸之一,如何去設計數據庫以提高網站的訪問速度給予客戶第一時間響應動態網站所提供的數據。

(3)因爲數據庫的增刪改查可能會浪費服務器的很多性能。那麼, 如何去避免DBMS(數據庫管理系統)CPU和內存造成很大的負載

(4)如何去應對一個動態網站併發用戶瞬間爆發?如何去分流不同用戶羣體到不同的服務器以降低對服務器的衝擊力和負載?


網站運營總結

1、大訪問量

其典型症狀是:同一個時間段內的併發羣體過高,帶給服務器很大的負載。尤其是WEB服務器,會帶來很大的衝擊力。

2、大存儲量

訪問人羣過高,最終的帶給網站的是數據訪問量和數據存儲量突然的增加。如何來應對?

3、訪問速度

在目前國內,南北網絡互聯互通的解決方案、以及有限帶寬的前提下,如何給網站提速,如何讓國內和國外的訪問羣體更快的去訪問你的網站?或者說來降低去訪問你的數據庫的壓力。

以及如何給網站的整體架構提速?

4、服務器監控

大中型公司的服務器肯定不止一臺。如何有利、高效的去監控你的服務器,尤其在關鍵業務節點上面。譬如,磁盤的空間、網卡的流量以及服務器的WEB和其他應用程序是否宕機、某些應用程序是否掛起、是否對外界已經沒有響應等等。


大訪問量

1、負載均衡

2、冗餘技術

是兩種完全不同的技術,可以完全獨立存在。

大訪問量-負載均衡

負載均衡技術是把衆多的訪問人羣以及流量分擔到不同的網絡設備以及不同的服務器的過程。

負載均衡讓每個服務器壓力更小、負載會更低。


1、Cisco以太網通道

2、Windows NLB技術

3、Linux LVS技術

4、F5等負載均衡器

圖解:負載均衡技術

132655853.png

負載均衡能夠把衆多的訪問人羣到達服務器的時候給服務器做負載均衡的技術。


客戶端的數據流到達服務器的時候,第一個人來訪問的時候會訪問第一臺服務器,第二個人來訪問的時候會訪問第二臺服務器,第三個人來訪問的時候會訪問第三臺服務器。

第四個人來訪問時訪問第一臺服務器,

第五個人來訪問時訪問第二臺服務器,第六個人來訪問時,訪問第三臺服務器。總之整個的一個過程是循環圈,專業名詞美其名曰:輪詢。

是以輪詢的形式分擔到不同的服務器上去。

這樣的話就把訪問人羣的數據流平均分擔到各個服務器上去,讓各個服務器的壓力更小,此過程就叫做負載均衡技術。


要點:負載均衡技術所面對的幾臺輪詢服務器,這幾臺服務器都能夠爲外界提供響應,換言之,也就是說這幾臺服務器都是處於激活狀態的。



大訪問量-冗餘技術

冗餘技術和負載不同的是,數據到達某一臺服務器或是一臺網絡設備,如果此服務器或者網絡設備宕機或突然斷電、或者是服務器崩潰;那麼,帶來的結果是這臺服務器可能無法給客戶端響應數據,此時呢?就需要在服務器旁邊再放置另外一臺服務器作爲備份。此過程就叫做冗餘。

當兩臺服務器中的某一臺服務器出現宕機或不能爲外界提供服務的時候,備份機能夠爲客戶提供服務,這個過程就叫做冗餘。


冗餘主要避免的是單點故障。

當故障出現時,以極快的響應速度切激活、換至備份機,期間的變化對於用戶來說是透明的,用戶並不知道給與它響應的那臺服務器已經宕機。


冗餘技術有網絡技術,但更多的是偏重於服務器本身的一些應用,如服務器集羣、數據庫集羣、LDEP、域用戶管理集羣等。



集羣技術

集羣圈裏面的設備再多也只能是一臺設備處於激活狀態,爲用戶提供響應。

而其他的服務器你可以認爲服務器都已經關機或者死機,專業點的名詞是其他服務器在集羣圈裏面處於休眠狀態。


132735351.png

132742283.png


集羣特徵:只有一臺服務器是處於激活狀態

此思路是集羣最核心的基本和宗旨。


把負載均衡+防止單點故障的冗餘技術全部組合在一起,纔是想象中的把多臺計算機組合在變成一個超級計算機的一個過程。

沒有負載均衡,集羣只能只是有一臺休眠,而不會整體的把能力組合在一起,進行任務分擔。



大訪問量-負載均衡

1、Cisco以太網通道(網絡層級)

132855720.png

134117637.png

Cisco的以太網通道可以簡單的分佈在三層交換機上面來實現,兩個部門或者兩個公司之間通信的數據,如音頻和視頻數據等數據量特別大的時候,需要佔用較多的帶寬資源,此時就需要增加帶寬量。一般我們看到的交換機之間的線纜是一根線纜。(1)

如果採用了思科的或者H3C的以太網通道以後(2)則,可以在兩個交換機的多個端口之間連接多根線纜(可以是光纖,也可以是雙絞線)

若是採用圖1的方案,則以太網通道的傳輸速率是100MB;而採用圖2的解決方案,則以太網通道的傳輸速率提高了4倍,也就是400MB

數據傳輸時,若是有4個數據則平均分擔到四個線路進行傳輸,也就是說帶寬是以前的4倍。且,若其中一條信道出現問題,不會影響到其他3條信道的數據傳輸。

就等於把馬路又拓寬了三個車道,單車道,擴展爲4車道。

2、Windows NLB技術(服務器層級)

3、Linux LVS技術(服務器層級)

134243429.png

133006755.png


A公司的多個用戶通過公司交換機,經過路由器到達另外一家公司,去訪問它裏面的WEB服務器,如果使用了LVS負載均衡有什麼好處呢?

可以負載和分流到不同的真實的WEB服務器,當A公司的多個員工去訪問 B公司的WEB服務器的時候數據會被相應的分流開,通過中間的這臺linux LVS調度器(調度器達到的最主要的目的是:用戶羣體過來以後可以進行分流,而且是平均負載和平攤到每臺服務器上面)

此處用到的技術無非就兩種:

(1)NAT(網絡地址轉換)技術

(2)DR(直接路由)技術


4、F5等負載均衡器(網絡層級)

133124622.png

F5價位在100W左右。


133144694.png

133210682.png

大訪問量-冗餘技術

1、Cisco HSRP熱備份路由

2、Windows集羣技術

3、Linux HA集羣技術

4、IBM AIX集羣

冗餘技術:

1、網絡層面的冗餘技術

2、服務器層面的冗餘技術

CiscoHSRP屬於線路的冗餘技術,

133231851.png

133247356.png

所謂的熱備份路由就是:在兩臺路由器的前端會虛擬出一個小的路由器,所有的人把網關都指向小型路由器上面去;小型路由器不是真實存在的,是由兩臺真實的路由器計算而得來的。

當用戶羣體把網關指向小型路由器的時候,小型路由器知道它背後的那臺路由器是處於激活狀態的;則哪一臺處於激活狀態就通過此臺路由器去訪問外面的世界。而另外一臺路由器則處於休眠和備份狀態。


當第一臺路由器出現了問題,小型的虛擬的路由器會判斷且能夠知道在此集羣組裏面哪個路由器已經出問題,哪個路由器沒有出問題。

會自動選取未出問題的路由器來做下一個活躍的路由器,來爲用戶上網轉發出去。

133344787.png







服務器集羣

服務器集羣就是指將很多服務器(集羣組)集中起來一起進行同一種服務,在客戶看來就像是隻有一個服務器。

集羣可以利用多個計算機進行並行計算從而獲得很到的計算速度,也可以利用多個計算機做備份,從而使得任何一個機器壞了整個系統還是能正常運行。

133406204.png






發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章