負載均衡集羣介紹

1.1、什麼是負載均衡集羣

負載均衡集羣提供了一種廉價、有效、透明的方法,來擴展網絡設備和服務器的負載、帶寬、增加吞吐量、加強網絡數據的處理能力、提高網絡的靈活性和可用性

搭建負載均衡器的需求:

1)把單臺計算機無法承受的大規模的併發訪問或數據流量分擔到多臺節點設備上分別處理,減少用戶等待時間,提升用戶體驗

2)單個重負載的運算分擔到多臺節點設備上做並行處理,每個節點設備處理結束後,將結果彙總,返回給用戶,系統處理能力得到大幅度的提高。

3)7*24的服務保證,任意一個或多個有限後面節點設備宕機,要求不能影響業務。

在負載均衡器集羣中,所有的計算節點都應該提供相同的服務。集羣負載均衡獲取所有對該服務的入站要求,然後將這些請求儘可能的平均分配在所有集羣節點上。

1.2、常見的負載均衡器

a 根據工作在的協議層劃分可劃分爲:

1.四層負載均衡(位於內核層):根據請求報文中的目標地址和端口進行調度

2.七層負載均衡(位於應用層):根據請求報文的內容進行調度,這種調度屬於「代理」的方式

 

b 根據軟硬件劃分:

硬件負載均衡:

1.F5 的 BIG-IP

2.Citrix 的 NetScaler

3.這類硬件負載均衡器通常能同時提供四層和七層負載均衡,但同時也價格不菲

軟件負載均衡:

1.TCP 層:LVS,HaProxy,Nginx

2.基於 HTTP 協議:Haproxy,Nginx,ATS(Apache Traffic Server),squid,varnish

3.基於 MySQL 協議:mysql-proxy

 

LVS技術點小結:

1、真正實現調度的工具是IPVS,工作在LINUX內核層面。

2、LVS自帶的IPVS管理工具是ipvsadm。

3、keepalived實現管理IPVS及負載均衡器的高可用。

4、Red hat 工具Piranha WEB管理實現調度的工具IPVS(不常用)。

 

lvs與nginx區別

 lvs和nginx都可以用作多機負載方案,他們各有優缺點,在生產環境中需要好好分析實際情況並加以利用。

    一、lvs的優勢:

    1.抗負載能力強,因爲lvs工作方式的邏輯是非常簡單的,而且工作在網絡層第4層,僅作請求分發用,沒有流量,所以在效率上基本不需要太過考慮。lvs一般很少出現故障,即使出現故障一般也是其他地方(如內存、CPU等)出現問題導致lvs出現問題。

    2.配置性地,這通常是一大劣勢同時也是一大優勢,因爲沒有太多的可配置的選項,所以除了增減服務器,並不需要經常去觸碰它,大大減少了人爲出錯的機率。

    3.工作穩定,因爲其本省抗負載能力很強,所以穩定性高也是順理成章的事,另外各種lvs都有完整的雙機熱備方案,所以一點不用擔心均衡器本身會出什麼問題,節點出現故障的話,lvs會自動判別,所以系統整體式非常穩定的。

    4.無流量,lvs僅僅分發請求,而流量並不從它本身出去,所以可以利用它這點來做一些線路分流之用。沒有流量同時也保住了均衡器的IO性能不會受到大流量的影響。

    5.lvs基本上能支持所有應用,因爲綠色工作在第4層,所以它可以對幾乎所有應用做負載均衡,包括http、數據庫、聊天室等。

    另外:lvs也不是完全能判別節點故障的,比如在wlc分配方式下,集羣裏有一個節點沒有配置vip,會使整個集羣不能使用,這時使用wrr分配方式則會丟掉一臺機器。目前這個問題還在進一步測試中。所以用lvs也得多多當心爲妙。

    二、nginx和lvs作對比的結果:

    1.nginx工作在網絡的第7層,所以它可以針對http應用本身來做分流策略,比如針對域名、目錄結構等,相比之下lvs並不具備這樣的功能,所以nginx單憑這點可以利用的場合就遠多於lvs了;但nginx有用的這些功能使其可調整度要高於lvs,所以經常要去觸碰觸碰,由lvs的第2條優點來看,觸碰多了,人爲出現問題的機率也就會大。

    2.nginx對網絡的依賴較小,理論上只要ping得通,網頁訪問正常,nginx就能連得通,nginx同時還能區分內外網,如果是同時擁有內外網的節點,就相當於單機擁有了備份線路;lvs就比較依賴於網絡環境,目前來看服務器在同一網段內並且lvs使用direct方式分流,效果較能得到保證。另外注意,lvs需要向託管商至少申請多於一個ip來做visual ip,貌似是不能用本省的ip來做VIP的。要做好lvs管理員,確實得跟進學習很多有關網絡通信方面的知識,就不再是一個http那麼簡單了。

    3.nginx安裝和配置比較簡單,測試起來也很方便,因爲它基本能把錯誤用日誌打印出來。lvs的安裝和配置、測試就要花比較長的時間,因爲同上所述,lvs對網絡依賴性比較大,很多時候不能配置成功都是因爲網絡問題而不是配置問題,出了問題要解決也相應的會麻煩的多。

    4.nginx也同樣能承受很高負載且穩定,但負載度很穩定度差lvs還有幾個等級:nginx處理所有流量所以受限於機器IO和配置;本身的bug也還是難以避免的;nginx沒有現成的雙機熱備方案,所以跑在單機上還是風險比較大,單機上的事情全都很難說。

    5.nginx可以檢測到服務器內部的故障,比如根據服務器處理網頁返回的狀態碼、超時等等,並且會把返回錯誤的請求重新提交到另一個節點。目前lvs中ldirectd也能支持針對服務器內部的情況來監控,但lvs的原理使其不能重發請求。重發請求這點,比如用戶正在上傳一個文件,而處理該上傳的節點剛好在上傳過程中出現故障,nginx會把上傳切到另一臺服務器重新處理,而lvs就直接斷掉了,如果是上傳一個很大的文件或者很重要的文件的話,用戶可能會因此而惱火。

    6.nginx對請求的異步處理可以幫助節點服務器減輕負載,鍵入使用Apache直接對外服務,那麼出現很多的窄帶鏈接時Apache服務器將會佔用大量內存而不能釋放,使用多於一個nginx做Apache代理的話,這些窄帶鏈接會被nginx擋住,Apache上就不會堆積過多的請求,這樣就減少了相當多的內存佔用。這點使用squid也有相同的作用,即使squid本身配置爲不緩存,對Apache還是有很大幫助你的。lvs沒有這些功能,也就無法能比較。

    7.nginx能支持http和Email(Email的功能估計比較少人用),lvs所支持的應用在這點上會比nginx更過。

    在使用上,一般最前端所採取的的策略應是lvs,也就是dns的指向應爲lvs均衡器,lvs的優點另它非常適合做這個任務。

    重要的ip地址,最好交由lvs託管,比如數據庫的ip、webservice服務器的ip等等,這些ip地址隨着時間推移,使用面會越來越大,如果更換ip則故障會接踵而來。所以將這些重要ip交給lvs託管式最爲穩妥的,這樣做的唯一缺點是需要VIP數量會比較多。

    nginx可以作爲lvs節點機器使用,一是可以利用nginx的功能,二是可以利用nginx的性能。當然這一層面也可以直接使用squid,squid的功能方面就比nginx弱不少,性能上也有所遜色於nginx。

    nginx也可以作爲中層代理使用,這一層面nginx基本上無對手,唯一可以撼動nginx的就只有lighttpd了,不過lighttpd目前還沒有能做到nginx完全的功能,配置也不那麼清晰易讀。另外,中層代理的ip也是重要的,所以中層代理業擁有一個VIP和lvs是最完美的方案了。

    nginx也可以作爲網頁靜態服務器。

    具體的應用還得具體分析,如果是比較小的網站(日pv<1000萬),用nginx就完全可以了,如果機器也不少,可以用dns輪詢,lvs所耗費的機器還是比較多的;大型網站或者重要的服務,機器不發愁的時候要多多考慮利用lvs。

    說明:

    使用nginx+keepalived實現負載均衡,解決單點與高流量併發問題。爲什麼要用nginx而不用lvs?

    7個理由:

    1.高併發連接:官方測試能夠支撐5萬併發連接,在實際生產環境中跑到2——3萬併發連接數。

    2.內存消耗少:在3萬併發連接數下,開啓的10個nginx進程才消耗150M內存(150*10=150M)。

    3.配置文件非常簡單:風格跟程序一樣通俗易懂。

    4.成本低廉:nginx爲開源軟件,可以免費使用。而購買F5 big-ip、netscaler等硬件負載均衡交換機則需要十多萬至幾十萬人民幣。

            (使用nginx做七層負載均衡的理由?)

    5.支持rewrite重寫規則:能夠根據域名、url的不同,將http請求分到不同的後端服務器羣組。

    6.內置的健康檢查功能:如果nginx proxy後端的某臺web服務器宕機了,不會影響前端訪問。

    7.節省帶寬:支持gzip壓縮,可以添加瀏覽器本地緩存的header頭。

    進一步說明:

    keepalived是linux下面實現vrrp備份路由的高可靠性運行件。基於keepalived設計的服務模式能夠真正做到主服務器和備份服務器故障時ip瞬間無縫交接。

    nginx是基於linux2.6內核中epoll模型http服務器,與Apache進程派生模式不同的是nginx進程基於master+slave多進程模型,自身具有非常穩定的子進程管理功能。在master進程分配模式下,master進程永遠不進行業務處理,只是進行任務分發,從而達到master進程的存活高可靠性,slave進程所有的業務信號都由主進程發出,slave進城所有的超時任務都會被master終止,屬於阻塞式人物模型。

    服務器ip存活檢測是由keepalived自己本身完成的,將2臺服務器配置成keepalived互爲主輔關係,任意一方機器故障對方都能夠將ip接管過去。

    keepalived的服務器ip通過其配置文件進行管理,依靠其自身的進程去確定服務器的存活狀態,如果在需要對服務器進程在線維護的情況下,只需要停掉被維護機器的keepalived服務進程,另外一臺服務器就能夠接管該臺服務器的所有應用。

 

     LVS的負載能力強,因爲其工作方式邏輯非常簡單,僅進行請求分發,而且工作在網絡的第4層,沒有流量,所以其效率不需要有過多的憂慮。

LVS基本能支持所有應用,因爲工作在第4層,所以LVS可以對幾乎所有應用進行負載均衡,包括Web、數據庫等。

注意:LVS並不能完全判別節點故障,比如在WLC規則下,如果集羣裏有一個節點沒有配置VIP,將會導致整個集羣不能使用。還有一些其他問題,目前尚需進一步測試。

Nginx工作在網路第7層,所以可以對HTTP應用實施分流策略,比如域名、結構等。相比之下,LVS並不具備這樣的功能,所以Nginx可使用的場合遠多於LVS。並且Nginx對網絡的依賴比較小,理論上只要Ping得通,網頁訪問正常就能連通。LVS比較依賴網絡環境。只有使用DR模式且服務器在同一網段內分流,效果才能得到保證。

Nginx可以通過服務器處理網頁返回的狀態嗎、超時等來檢測服務器內部的故障,並會把返回錯誤的請求重新發送到另一個節點。目前LVS和LDirectd 也支持對服務器內部情況的監控,但不能重新發送請求。

比如用戶正在上傳一個文件,而處理該上傳信息的節點剛好出現故障,則Nginx會把上傳請求重新發送到另一臺服務器,而LVS在這種情況下會直接斷掉。Nginx還能支持HTTP和Email(Email功能很少有人使用),LVS所支持的應用在這個電商比Nginx更多。

Nginx同樣能承受很高負載並且能穩定運行,由於處理流量受限於機器I/O等配置,所以負載能力相對較差。

Nginx 安裝、配置及測試相對來說比較簡單,因爲有相應的錯誤日誌進行提示。LVS的安裝、配置及測試所花的時間比較長,因爲LVS對網絡以來比較大,很多時候有可能因爲網絡問題而配置不能成功,出現問題時,解決的難度也相對較大。Nginx本身沒有現成的熱備方案,所以在單機上運行風險較大,建議KeepAlived配合使用。另外,Nginx可以作爲LVS的節點機器使用,充分利用Nginx的功能和性能。當然這種情況也可以直接使用Squid等其他具備分發功能的軟件。

具體應用具體分析。如果是比較小型的網站(每日PV小於100萬),用戶Nginx就完全可以應對,如果機器也不少,可以用DNS輪詢。LVS後用的機器較多,在構建大型網站或者提供重要服務且機器較多時,可多加考慮利用LVS。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章