linux:負載均衡總結性說明(四層負載/七層負載)。

在常規運維工作中,經常會運用到負載均衡服務。負載均衡分爲四層負載和七層負載,那麼這兩者之間有什麼不同?
廢話不多說,詳解如下:

什麼是負載均衡

  • 負載均衡(Load Balance)建立在現有網絡結構之上,它提供了一種廉價有效透明的方法擴展網絡設備和服務器的帶寬、增加吞吐量、加強網絡數據處理能力、提高網絡的靈活性和可用性。負載均衡有兩方面的含義:首先,大量的併發訪問或數據流量分擔到多臺節點設備上分別處理,減少用戶等待響應的時間;其次,單個重負載的運算分擔到多臺節點設備上做並行處理,每個節點設備處理結束後,將結果彙總,返回給用戶,系統處理能力得到大幅度提高。
  • 簡單來說就是:其一是將大量的併發處理轉發給後端多個節點處理,減少工作響應時間;其二是將單個繁重的工作轉發給後端多個節點處理,處理完再返回給負載均衡中心,再返回給用戶。目前負載均衡技術大多數是用於提高諸如在Web服務器、FTP服務器和其它關鍵任務服務器上的Internet服務器程序的可用性和可伸縮性。

負載均衡分類

  • 二層負載均衡(mac)

根據OSI模型分的二層負載,一般是用虛擬mac地址方式,外部對虛擬MAC地址請求,負載均衡接收後分配後端實際的MAC地址響應.

  • 三層負載均衡(ip)

一般採用虛擬IP地址方式,外部對虛擬的ip地址請求,負載均衡接收後分配後端實際的IP地址響應. (即一個ip對一個ip的轉發, 端口全放開)

  • 四層負載均衡(tcp)

在三次負載均衡的基礎上,即從第四層"傳輸層"開始, 使用"ip+port"接收請求,再轉發到對應的機器。

  • 七層負載均衡(http)

從第七層"應用層"開始, 根據虛擬的url或IP,主機名接收請求,再轉向相應的處理服務器。

我們運維中最常見的四層和七層負載均衡,這裏重點說下這兩種負載均衡。

四層負載均衡

四層的負載均衡就是基於IP+端口的負載均衡:在三層負載均衡的基礎上,通過發佈三層的IP地址(VIP),然後加四層的端口號,來決定哪些流量需要做負載均衡,對需要處理的流量進行NAT處理,轉發至後臺服務器,並記錄下這個TCP或者UDP的流量是由哪臺服務器處理的,後續這個連接的所有流量都同樣轉發到同一臺服務器處理。
對應的負載均衡器稱爲四層交換機(L4 switch),主要分析IP層及TCP/UDP層,實現四層負載均衡。此種負載均衡器不理解應用協議(如HTTP/FTP/MySQL等等)。

實現四層負載均衡的軟件有:

  • F5:硬件負載均衡器,功能很好,但是成本很高。
  • lvs:重量級的四層負載軟件
  • nginx:輕量級的四層負載軟件,帶緩存功能,正則表達式較靈活
  • haproxy:模擬四層轉發,較靈活

七層負載均衡

七層的負載均衡就是基於虛擬的URL或主機IP的負載均衡:在四層負載均衡的基礎上(沒有四層是絕對不可能有七層的),再考慮應用層的特徵,比如同一個Web服務器的負載均衡,除了根據VIP加80端口辨別是否需要處理的流量,還可根據七層的URL、瀏覽器類別、語言來決定是否要進行負載均衡。舉個例子,如果你的Web服務器分成兩組,一組是中文語言的,一組是英文語言的,那麼七層負載均衡就可以當用戶來訪問你的域名時,自動辨別用戶語言,然後選擇對應的語言服務器組進行負載均衡處理。

對應的負載均衡器稱爲七層交換機(L7 switch),除了支持四層負載均衡以外,還有分析應用層的信息,如HTTP協議URI或Cookie信息,實現七層負載均衡。此種負載均衡器能理解應用協議。
實現七層負載均衡的軟件有:

  • haproxy:天生負載均衡技能,全面支持七層代理,會話保持,標記,路徑轉移;
  • nginx:只在http協議和mail協議上功能比較好,性能與haproxy差不多;
  • apache:功能較差
  • Mysql proxy:功能尚可。

總的來說,一般是lvs做4層負載;nginx做7層負載(也能做4層負載, 通過stream模塊);haproxy比較靈活,4層和7層負載均衡都能做

四層和七層負載均衡之間的區別

從技術原理上分析

所謂四層負載均衡,也就是主要通過報文中的目標地址和端口,再加上負載均衡設備設置的服務器選擇方式,決定最終選擇的內部服務器。

以常見的TCP爲例,負載均衡設備在接收到第一個來自客戶端的SYN 請求時,即通過上述方式選擇一個最佳的服務器,並對報文中目標IP地址進行修改(改爲後端服務器IP),直接轉發給該服務器。TCP的連接建立,即三次握手是客戶端和服務器直接建立的,負載均衡設備只是起到一個類似路由器的轉發動作。在某些部署情況下,爲保證服務器回包可以正確返回給負載均衡設備,在轉發報文的同時可能還會對報文原來的源地址進行修改。

所謂七層負載均衡,也稱爲“內容交換”,也就是主要通過報文中的真正有意義的應用層內容,再加上負載均衡設備設置的服務器選擇方式,決定最終選擇的內部服務器。

以常見的TCP爲例,負載均衡設備如果要根據真正的應用層內容再選擇服務器,只能先代理最終的服務器和客戶端建立連接(三次握手)後,纔可能接受到客戶端發送的真正應用層內容的報文,然後再根據該報文中的特定字段,再加上負載均衡設備設置的服務器選擇方式,決定最終選擇的內部服務器。負載均衡設備在這種情況下,更類似於一個代理服務器。負載均衡和前端的客戶端以及後端的服務器會分別建立TCP連接。所以從這個技術原理上來看,七層負載均衡明顯的對負載均衡設備的要求更高,處理七層的能力也必然會低於四層模式的部署方式。

四層負載均衡在中間傳輸層執行,它處理消息的傳遞,但不考慮消息的內容。例如TCP是網絡上Hypertext Transfer Protocol(HTTP)流量的第四層協議。在這一過程中,4層負載均衡會將網絡數據包轉發到上游服務器,但不會檢查數據包的內容,只能通過檢查TCP流中的前幾個包來做出有限的路由決策。

七層負載均衡不同於四層負載均衡,它在高級應用層上執行,會處理每個消息的實際內容。HTTP是網絡上網站流量的主要7層協議。七層負載均衡以比四層負載均衡更復雜的方式路由網絡流量,尤其適用於基於TCP的流量(如HTTP)。七層負載均衡會終止網絡流量並讀取器中消息,它可以根據消息內容(如URL或cookie)做出負載均衡決策。隨後,七層負載均衡與選定上有服務器建立新的TCP連接並將請求寫入服務器。

簡單來說,二者之間的區別

  • 七層負載均衡基本都是基於http協議的,適用於web服務器的負載均衡。(nginx)
  • 四層負載均衡主要是基於tcp協議報文,可以做任何基於tcp/ip協議的軟件的負載均衡。(haproxy、LVS)
  • 兩者主要區別在於利用的報文所在的層面是不同的,各有各的好處。
  • 七層應用負載的好處,是使得整個網絡更”智能化“。例如訪問一個網站的用戶流量,可以通過七層的方式,將對圖片類的請求轉發到特定的圖片服務器並可以使用緩存技術;將對文字類的請求可以轉發到特定的文字服務器並可以使用壓縮技術。當然這只是七層應用的一個小案例,從技術原理上,這種方式可以對客戶端的請求和服務器的響應進行任意意義上的修改,極大的提升了應用系統在網絡層的靈活性。很多在後臺,例如Nginx或者Apache上部署的功能可以前移到負載均衡設備上,例如客戶請求中的Header重寫,服務器響應中的關鍵字過濾或者內容插入等功能。
  • 四層負載均衡主要是較爲靈活,可以作爲多種軟件的負載均衡器。

舉個例子形象的說明:四層負載均衡就像銀行的自助排號機,每一個達到銀行的客戶根據排號機的順序,選擇對應的窗口接受服務;而七層負載均衡像銀行大堂經理,先確認客戶需要辦理的業務,再安排排號。這樣辦理理財、存取款等業務的客戶,會根據銀行內部資源得到統一協調處理,加快客戶業務辦理流程。

七層負載均衡的好處
七層負載均衡比基於數據包的四層負載均衡更佔CPU,但很少會導致服務器性能下降。七層負載均衡可以讓負載均衡器做出更明智的決策,並可以對內容進行優化和更改,如壓縮、加密等等。七層負載均衡還可以利用buffering來卸載上游服務器的慢速連接,從而提高性能。

執行七層負載平衡的組件通常被稱爲反向代理服務器。

七層負載均衡示例
舉個簡單的例子,假設用戶訪問高流量網站,在會話期間,它可能會請求靜態內容(例如圖像或視頻)、動態內容(例如新聞訂閱源)或者交易信息(例如訂單狀態)等等。7層負載平衡允許負載均衡器根據請求本身中的消息(如內容類型)來路由請求。也就是說,我們可以將對圖像或視頻的請求路由到存儲它的服務器,並進行高度優化以提供多媒體內容;可以將諸如折扣價之類的交易信息請求路由到負責管理定價的應用服務器。藉助7層負載平衡,網絡和應用程序架構師可以創建高度優化的服務器基礎架構或應用交付網絡,在保障可靠性的同時進行有效擴展。

簡單總結

從上面的對比看來四層負載與七層負載最大的區別就是效率與功能的區別。四層負載架構設計比較簡單,無需解析具體的消息內容,在網絡吞吐量及處理能力上會相對比較高,而七層負載均衡的優勢則體現在功能多,控制靈活強大。在具體業務架構設計時,使用七層負載或者四層負載還得根據具體的情況綜合考慮。

負載均衡時的數據流都經過負載均衡器,如何解決負載均衡器成爲瓶頸的問題?
通過修改tcp報文的源地址和目的地址,使從web服務器中返回的數據直接返回到客戶端,這是七層負載均衡無法做到的,因爲tcp三次握手建立在客戶端與負載均衡服務器之間,http協議基於tcp協議,建立好tcp鏈接後才傳送http報文,收到http報文說明負載均衡器和客戶端已經建立了tcp連接,而web服務器和客戶端的tcp鏈接都沒建立,怎麼回傳數據給客戶端呢。以上的辦法會出現問題:所有集羣裏的主機都是內網ip,無法跟外界聯繫。
解決方案1:
如果能買到那麼多外網Ip地址來用,然後在tcp鏈接要建立時負載均衡給真正的web服務器,讓客戶端和服務器建立tcp鏈接
解決方案2:
引用一句話:計算機所有的問題都可以通過建立一層虛擬層解決。
可以通過將所有服務器主機ip虛擬化成負載均衡服務器的ip,這樣服務器集羣的所有主機都可以訪問外界網絡,因爲ip地址(網絡層,三層)都是相同,所以只能通過第二層來分辨數據流向,修改數據鏈路層(二層)目的主機的MAC地址,使請求發到web服務器上,然後才真正建立起tcp連接,然後web服務器因爲可以聯網,所以可以直接返回數據給客戶端

從應用場景的需求上分析

七層應用負載的好處,是使得整個網絡更"智能化"。例如訪問一個網站的用戶流量,可以通過七層的方式,將對圖片類的請求轉發到特定的圖片服務器並可以使用緩存技術;將對文字類的請求可以轉發到特定的文字服務器並可以使用壓縮技術。當然這只是七層應用的一個小案例,從技術原理上,這種方式可以對客戶端的請求和服務器的響應進行任意意義上的修改,極大的提升了應用系統在網絡層的靈活性。很多在後臺,例如Nginx或者Apache上部署的功能可以前移到負載均衡設備上,例如客戶請求中的Header重寫,服務器響應中的關鍵字過濾或者內容插入等功能。

另外一個常常被提到功能就是安全性。網絡中最常見的SYN Flood攻擊,即黑客控制衆多源客戶端,使用虛假IP地址對同一目標發送SYN攻擊,通常這種攻擊會大量發送SYN報文,耗盡服務器上的相關資源,以達到Denial of Service(DoS)的目的。從技術原理上也可以看出,四層模式下這些SYN攻擊都會被轉發到後端的服務器上;而七層模式下這些SYN攻擊自然在負載均衡設備上就截止,不會影響後臺服務器的正常運營。另外負載均衡設備可以在七層層面設定多種策略,過濾特定報文,例如SQL Injection等應用層面的特定攻擊手段,從應用層面進一步提高系統整體安全。

現在的七層負載均衡,主要還是着重於應用HTTP協議,所以其應用範圍主要是衆多的網站或者內部信息平臺等基於B/S開發的系統。 4層負載均衡則對應其他TCP應用,例如基於C/S開發的ERP等系統。

七層應用需要考慮的問題

  • 是否真的必要。七層應用的確可以提高流量智能化,同時必不可免的帶來設備配置複雜,負載均衡壓力增高以及故障排查上的複雜性等問題。在設計系統時需要考慮四層七層同時應用的混雜情況。
  • 是否真的可以提高安全性。例如SYN Flood攻擊,七層模式的確將這些流量從服務器屏蔽,但負載均衡設備本身要有強大的抗DDoS能力,否則即使服務器正常而作爲中樞調度的負載均衡設備故障也會導致整個應用的崩潰。
  • 是否有足夠的靈活度。七層應用的優勢是可以讓整個應用的流量智能化,但是負載均衡設備需要提供完善的七層功能,滿足客戶根據不同情況的基於應用的調度。最簡單的一個考覈就是能否取代後臺Nginx或者Apache等服務器上的調度功能。能夠提供一個七層應用開發接口的負載均衡設備,可以讓客戶根據需求任意設定功能,才真正有可能提供強大的靈活性和智能性。

總體對比

智能性

七層負載均衡由於具備OIS七層的所有功能,所以在處理用戶需求上能更加靈活,從理論上講,七層模型能對用戶的所有跟服務端的請求進行修改。例如對文件header添加信息,根據不同的文件類型進行分類轉發。四層模型僅支持基於網絡層的需求轉發,不能修改用戶請求的內容。

安全性

七層負載均衡由於具有OSI模型的全部功能,能更容易抵禦來自網絡的攻擊;四層模型從原理上講,會直接將用戶的請求轉發給後端節點,無法直接抵禦網絡攻擊。

複雜度

四層模型一般比較簡單的架構,容易管理,容易定位問題;七層模型架構比較複雜,通常也需要考慮結合四層模型的混用情況,出現問題定位比較複雜。

效率比

四層模型基於更底層的設置,通常效率更高,但應用範圍有限;七層模型需要更多的資源損耗,在理論上講比四層模型有更強的功能,現在的實現更多是基於http應用。

負載均衡技術方案說明

軟/硬件負載均衡

軟件負載均衡解決方案是指在一臺或多臺服務器相應的操作系統上安裝一個或多個附加軟件來實現負載均衡,如DNS Load Balance,CheckPoint Firewall-1 ConnectControl,Keepalive+ipvs等,它的優點是基於特定環境,配置簡單,使用靈活,成本低廉,可以滿足一般的負載均衡需求。軟件解決方案缺點也較多,因爲每臺服務器上安裝額外的軟件運行會消耗系統不定量的資源,越是功能強大的模塊,消耗得越多,所以當連接請求特別大的時候,軟件本身會成爲服務器工作成敗的一個關鍵;軟件可擴展性並不是很好,受到操作系統的限制;由於操作系統本身的Bug,往往會引起安全問題。

硬件負載均衡解決方案是直接在服務器和外部網絡間安裝負載均衡設備,這種設備通常是一個獨立於系統的硬件,我們稱之爲負載均衡器。由於專門的設備完成專門的任務,獨立於操作系統,整體性能得到大量提高,加上多樣化的負載均衡策略,智能化的流量管理,可達到最佳的負載均衡需求。負載均衡器有多種多樣的形式,除了作爲獨立意義上的負載均衡器外,有些負載均衡器集成在交換設備中,置於服務器與Internet鏈接之間,有些則以兩塊網絡適配器將這一功能集成到PC中,一塊連接到Internet上,一塊連接到後端服務器羣的內部網絡上。

軟件負載均衡與硬件負載均衡的對比

軟件負載均衡的優點是需求環境明確,配置簡單,操作靈活,成本低廉,效率不高,能滿足普通的企業需求;缺點是依賴於系統,增加資源開銷;軟件的優劣決定環境的性能;系統的安全,軟件的穩定性均會影響到整個環境的安全。
硬件負載均衡優點是獨立於系統,整體性能大量提升,在功能、性能上優於軟件方式;智能的流量管理,多種策略可選,能達到最佳的負載均衡效果;缺點是價格昂貴。

本地/全局負載均衡

負載均衡從其應用的地理結構上分爲本地負載均衡(Local Load Balance)和全局負載均衡(Global Load Balance,也叫地域負載均衡),本地負載均衡是指對本地的服務器羣做負載均衡,全局負載均衡是指對分別放置在不同的地理位置、有不同網絡結構的服務器羣間作負載均衡。

本地負載均衡能有效地解決數據流量過大、網絡負荷過重的問題,並且不需花費昂貴開支購置性能卓越的服務器,充分利用現有設備,避免服務器單點故障造成數據流量的損失。其有靈活多樣的均衡策略把數據流量合理地分配給服務器羣內的服務器共同負擔。即使是再給現有服務器擴充升級,也只是簡單地增加一個新的服務器到服務羣中,而不需改變現有網絡結構、停止現有的服務。

全局負載均衡主要用於在一個多區域擁有自己服務器的站點,爲了使全球用戶只以一個IP地址或域名就能訪問到離自己最近的服務器,從而獲得最快的訪問速度,也可用於子公司分散站點分佈廣的大公司通過Intranet(企業內部互聯網)來達到資源統一合理分配的目的。

網絡層次上的負載均衡

針對網絡上負載過重的不同瓶頸所在,從網絡的不同層次入手,我們可以採用相應的負載均衡技術來解決現有問題。 
隨着帶寬增加,數據流量不斷增大,網絡核心部分的數據接口將面臨瓶頸問題,原有的單一線路將很難滿足需求,而且線路的升級又過於昂貴甚至難以實現,這時就可以考慮採用鏈路聚合(Trunking)技術。
鏈路聚合技術(第二層負載均衡)將多條物理鏈路當作一條單一的聚合邏輯鏈路使用,網絡數據流量由聚合邏輯鏈路中所有物理鏈路共同承擔,由此在邏輯上增大了鏈路的容量,使其能滿足帶寬增加的需求。
現代負載均衡技術通常操作於網絡的第四層或第七層。第四層負載均衡將一個Internet上合法註冊的IP地址映射爲多個內部服務器的IP地址,對每次 TCP連接請求動態使用其中一個內部IP地址,達到負載均衡的目的。在第四層交換機中,此種均衡技術得到廣泛的應用,一個目標地址是服務器羣VIP(虛擬 IP,Virtual IP address)連接請求的數據包流經交換機,交換機根據源端和目的IP地址、TCP或UDP端口號和一定的負載均衡策略,在服務器IP和VIP間進行映射,選取服務器羣中最好的服務器來處理連接請求。
七層負載均衡控制應用層服務的內容,提供了一種對訪問流量的高層控制方式,適合對HTTP服務器羣的應用。第七層負載均衡技術通過檢查流經的HTTP報頭,根據報頭內的信息來執行負載均衡任務。

七層負載均衡優點

  • 通過對HTTP報頭的檢查,可以檢測出HTTP400、500和600系列的錯誤信息,因而能透明地將連接請求重新定向到另一臺服務器,避免應用層故障。
  • 可根據流經的數據類型(如判斷數據包是圖像文件、壓縮文件或多媒體文件格式等),把數據流量引向相應內容的服務器來處理,增加系統性能。
  • 能根據連接請求的類型,如是普通文本、圖象等靜態文檔請求,還是asp、cgi等的動態文檔請求,把相應的請求引向相應的服務器來處理,提高系統的性能及安全性。

七層負載均衡缺點 

  • 七層負載均衡受到其所支持的協議限制(一般只有HTTP),這樣就限制了它應用的廣泛性。
  • 七層負載均衡檢查HTTP報頭會佔用大量的系統資源,勢必會影響到系統的性能,在大量連接請求的情況下,負載均衡設備自身容易成爲網絡整體性能的瓶頸。

負載均衡策略

在實際應用中,我們可能不想僅僅是把客戶端的服務請求平均地分配給內部服務器,而不管服務器是否宕機。而是想使Pentium III服務器比Pentium II能接受更多的服務請求,一臺處理服務請求較少的服務器能分配到更多的服務請求,出現故障的服務器將不再接受服務請求直至故障恢復等等。選擇合適的負載均衡策略,使多個設備能很好的共同完成任務,消除或避免現有網絡負載分佈不均、數據流量擁擠反應時間長的瓶頸。在各負載均衡方式中,針對不同的應用需求,在OSI參考模型的第二、三、四、七層的負載均衡都有相應的負載均衡策略。

負載均衡策略的優劣及其實現的難易程度有兩個關鍵因素:負載均衡算法;對網絡系統狀況的檢測方式和能力。

負載均衡算法

  • 輪循均衡(Round Robin):每一次來自網絡的請求輪流分配給內部中的服務器,從1至N然後重新開始。此種均衡算法適合於服務器組中的所有服務器都有相同的軟硬件配置並且平均服務請求相對均衡的情況。
  • 權重輪循均衡(Weighted Round Robin):根據服務器的不同處理能力,給每個服務器分配不同的權值,使其能夠接受相應權值數的服務請求。例如:服務器A的權值被設計成1,B的權值是 3,C的權值是6,則服務器A、B、C將分別接受到10%、30%、60%的服務請求。此種均衡算法能確保高性能的服務器得到更多的使用率,避免低性能的服務器負載過重。
  • 隨機均衡(Random):把來自網絡的請求隨機分配給內部中的多個服務器。
  • 權重隨機均衡(Weighted Random):此種均衡算法類似於權重輪循算法,不過在處理請求分擔時是個隨機選擇的過程。
  • 響應速度均衡(Response Time):負載均衡設備對內部各服務器發出一個探測請求(例如Ping),然後根據內部中各服務器對探測請求的最快響應時間來決定哪一臺服務器來響應客戶端的服務請求。此種均衡算法能較好的反映服務器的當前運行狀態,但這最快響應時間僅僅指的是負載均衡設備與服務器間的最快響應時間,而不是客戶端與服務器間的最快響應時間。
  • 最少連接數均衡(Least Connection):客戶端的每一次請求服務在服務器停留的時間可能會有較大的差異,隨着工作時間加長,如果採用簡單的輪循或隨機均衡算法,每一臺服務器上的連接進程可能會產生極大的不同,並沒有達到真正的負載均衡。最少連接數均衡算法對內部中需負載的每一臺服務器都有一個數據記錄,記錄當前該服務器正在處理的連接數量,當有新的服務連接請求時,將把當前請求分配給連接數最少的服務器,使均衡更加符合實際情況,負載更加均衡。此種均衡算法適合長時處理的請求服務,如FTP。 
  • 處理能力均衡:此種均衡算法將把服務請求分配給內部中處理負荷(根據服務器CPU型號、CPU數量、內存大小及當前連接數等換算而成)最輕的服務器,由於考慮到了內部服務器的處理能力及當前網絡運行狀況,所以此種均衡算法相對來說更加精確,尤其適合運用到第七層(應用層)負載均衡的情況下。
  • DNS響應均衡(Flash DNS):在Internet上,無論是HTTP、FTP或是其它的服務請求,客戶端一般都是通過域名解析來找到服務器確切的IP地址的。在此均衡算法下,分處在不同地理位置的負載均衡設備收到同一個客戶端的域名解析請求,並在同一時間內把此域名解析成各自相對應服務器的IP地址(即與此負載均衡設備在同一位地理位置的服務器的IP地址)並返回給客戶端,則客戶端將以最先收到的域名解析IP地址來繼續請求服務,而忽略其它的IP地址響應。在種均衡策略適合應用在全局負載均衡的情況下,對本地負載均衡是沒有意義的。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章