.Net微服務實戰之負載均衡（上） .Net微服務實戰之技術選型篇 .Net微服務實戰之技術架構分層篇 .Net微服務實戰之DevOps篇

系列文章

• .Net微服務實戰之技術選型篇

• .Net微服務實戰之技術架構分層篇

• .Net微服務實戰之DevOps篇

 相關源碼：https://github.com/SkyChenSky/Sikiro

PS：最近開始在找工作，如果在廣州地區需要技術管理崗的（.Net架構師、技術經理）可以隨時聯繫我，微信：SkyChen_Gong。

分佈式？集羣？負載均衡？

　　我曾經面試過一家企業，當時描述完我在老東家完成的微服務架構後，面試官問了我一個問題：

　　面試官：您有做過分佈式系統嗎？

　　我：有，剛剛我描述的微服務架構就是分佈式的……

　　面試官：不不不，我意思是你有沒有嘗試過把一個站點部署到多臺服務器上？

　　我：哦……你意思是我有沒有用過類似nginx這些工具做負載均衡是吧？有，現在我們就這麼做的。但是我對分佈式理解是工作方式，但是你描述的更多具體稱之爲集羣或者負載均衡。

　　面試官：對對，大家的站在的觀點不一樣所以理解的不一樣（尷尬的笑了笑）

PS：首先我申明下我沒有對該面試官有任何貶低嘲諷之意，也沒刻意突出誰對誰錯，面試完了後我回去回想了下我的回答並找到些資料做出以下總結。

分佈式

　　分佈式計算是指系統的工作方式，主要分爲數據分佈式和任務分佈式：

　　數據分佈式也稱爲數據並行，把數據拆分後，利用多臺計算機並行執行多個相同任務。優點是縮短所有任務總體執行時間，缺點是無法減少單個任務的執行時間。

　　任務分佈式也稱爲任務並行，單個串行的任務拆分成多個可並行子任務。優點是提高性能、可擴展性、可維護性，缺點是增加設計複雜性。

負載均衡

　　負載均衡（Load Balance），簡稱LB，就是將併發的用戶請求通過規則後平衡、分攤到多臺服務器上進行執行，以此達到壓力分攤、數據並行的效果。

集羣

　　集羣是系統在負載均衡結果後的物理表現，系統（服務）通過部署到多臺服務器以達到共同提供相同的功能，可以稱這一組服務爲某某集羣，例如Redis集羣，某Web站點集羣。

負載均衡器

作用

　　負載均衡器的分類有很多，而他們的作用主要體現於架構要素的其中三個：可用性、性能、安全。

　　可用性，多臺服務器的部署避免了單點故障。

　　性能，一臺Web站點能提供每秒4000次的併發請求，5臺服務器構成的一個集羣就可以達到20000。

　　安全，通過反向代理到真實服務器，避免直接路由到高危Web服務，避免開放危險端口。

算法

　　常用的負載均衡算法主要以下4個：

• 加權輪詢
• 隨機
• 最少鏈接數
• 哈希

分類

　　從製造上主要分爲軟件負載和硬件負載：

　　軟負載，包含了Nginx、LVS、HAProxy等。

　　硬負載，包含了F5、Array等。

　　從量級上主要分爲：百萬級、數十萬級、萬級：

　　百萬級，硬負載，例如F5、Array。

　　數十萬級，第四層負載，LVS、HAProxy。

　　萬級，第七層負載，Nginx。

　　當然從成本上，硬負載絕對是土豪公司的工具，便宜的十來萬RMB，貴則上百萬RMB。而軟負載只需要一臺Linux服務器的錢就足夠了。此外LVS的部署複雜度相比於Nginx會高那麼一點，但是Nginx的七層負載的靈活性是四層負載的無法比擬的。

　　在實際工作中大家更多會接觸到上圖的架構模型，從功能職責上又可以劃分地域級、集羣級和應用級的負載：

　　地域級的負載均衡使用的是DNS的智能解析來完成的，DNS全稱Domain Name System，中文叫域名系統（服務）協議，一般都會採用雲服務廠商的DNS系統，我們知道域名是需要花錢購買的，而廠商會附帶一個免費的域名解析套餐，如果需要對域名進行域名智能解析，就需要付費給廠商獲取相應的服務。

　　Nginx作爲應用級負載也有自己的併發處理上限，如果超過上限了那麼只能通過再上一層加一個更高處理性能的負載均衡器作爲解決，而LVS可以很好擔任集羣級的負載重任。如果是土豪公司可以在自己選擇使用硬負載來代替LVS，硬負載雖然貴也有自己的優勢，例如防火牆、加密、高性能處理等。

Nginx

　　Nginx是一個高性能的反向代理服務器，也是穩定且高效的基於七層的負載均衡器。Nginx可以根據以隨機、加權輪詢，IP哈希、URL哈希等方式調度後端真是服務器，Nginx也支持對後端服務器的健康檢查功能。

LVS

　　LVS即Linux Virtual Server，翻譯中文爲 Linux虛擬服務器，目前LVS是已經被集成到Linux內核模塊中，LVS的工作模式分爲NAT模式、TUN模式以及DR模式。那麼在實戰中，更多會Keepalived + LVS一起集成使用，Keepalived可以自動將LVS備用調度器升級爲主調度器，最終實現整個集羣系統的高負載、高可用。

　　本篇的重點主要講解Keepalive + LVS + Nginx + .Net Core的搭建與使用。

效果圖

　　PS：上圖是我完成搭建後錄製的視頻轉gif，因爲中間有等待的一分鐘，爲了觀看效果剪斷了。

　　Web1與Web2是同一個Nginx，Web3和Web4是同爲另外的一個Nginx。在圖裏可見需要過一段時間才能從一個Nginx切換到另外一個Nginx，原因主要是LVS會根據訪問客戶端的IP+端口在會話時間內重複的轉發到同一個目標服務器。而控制這個會話時間的可以通過設置ipvsadm --persistent 與--set這兩個參數決定。

LVS的三種工作模式

NAT(Network Address Translation)-網絡地址轉換模式。

首先，外部請求會經過LVS的VIP（Virtual IP Address）；接着，LVS會根據預設的調度算法選擇一臺真實的服務器進行數據請求包轉發，轉發前會把原數據包的目標地址與目標端口修改爲真實服務器的地址與端口；最後，LVS在得到響應數據包後會把源地址與源端口改爲VIP及調度器相應的端口。因爲由於所有的請求與響應都會經過LVS調度器轉發，因此容易成爲集羣的瓶頸。

TUN-隧道模式

因爲NAT會的瓶頸問題，因此TUN模式採用用了請求與響應數據分離的思路，讓調度器僅處理數據請求，讓真實服務器響應數據包直接返回給客戶端，需要注意的是該模式下的真實服務器需要與外部網絡連接。另外TUN模式下需要在LVS調度器與真實服務器之間創建隧道連接，同樣會增加服務器的負擔。

DR(Direct Routing)-直接路由模式

DR模式也是採用請求與響應分離的思路，由真實服務器直接響應客戶端，但是它的報文轉發方法有所不同，在不修改數據報文的情況下，將數據幀的MAC地址修改爲需要轉發到的真實服務器MAC地址，免去了TUN中的IP隧道開銷。這種方式是三種負載調度機制中性能最高最好的，但是LVS調度器與真實後端服務器必須在一個局域網內。

LVS的部署

　　

　　接下來的部署操作將實現上圖Keepalived + LVS +Nginx的多層負載均衡，LVS將是以DR模式實現。

兩臺LVS服務器（主從）

基礎依賴安裝

yum install gcc
yum -y install openssl-devel
yum -y install libnl libnl-devel
yum install -y libnfnetlink-devel
yum -y install net-tools
yum install vim -y

安裝keepalived 和 ipvsadm

yum install -y keepalived ipvsadm

LVS-Master服務器

修改Keepalived配置：

vim /etc/keepalived/keepalived.conf 

複製以下配置覆蓋進去

注意：real_server填寫的是Nginx服務器的IP地址

global_defs {
  router_id LVS_MASTER # 設置lvs的id，在一個網絡內應該是唯一的
}
vrrp_instance VI_1 {
  state MASTER #指定Keepalived的角色，MASTER爲主，BACKUP爲備 記得大寫
  interface ens33 #網卡id 不同的電腦網卡id會有區別 可以使用:ip a查看
  virtual_router_id 51 #虛擬路由編號，主備要一致
  priority 100 #定義優先級，數字越大，優先級越高，主DR必須大於備用DR
  advert_int 1 #檢查間隔，默認爲1s
  authentication {
    auth_type PASS
    auth_pass 12345678
  }
  virtual_ipaddress {
    192.168.174.128/24 #定義虛擬IP(VIP)爲192.168.174.128，可多設，每行一個
  }
}
# 定義對外提供服務的LVS的VIP以及port
virtual_server 192.168.174.128 80 {
  delay_loop 6 # 設置健康檢查時間，單位是秒
  lb_algo rr # 設置負載調度的算法爲wlc
  lb_kind DR # 設置LVS實現負載的機制，有NAT、TUN、DR三個模式
  nat_mask 255.255.255.0
  persistence_timeout 0
  protocol TCP
  real_server 192.168.88.137 80 {
    weight 1
    TCP_CHECK {
      connect_timeout 10
      nb_get_retry 3
      delay_before_retry 3
      connect_port 80
    }
  }
  real_server 192.168.88.139 80 {
    weight 1
    TCP_CHECK {
      connect_timeout 10
      nb_get_retry 3
      delay_before_retry 3
      connect_port 80
    }
  }
}

LVS-BackUp服務器

修改Keepalived配置：

vim /etc/keepalived/keepalived.conf 

複製以下配置覆蓋進去

注意：real_server填寫的是Nginx服務器的IP地址，state改爲BACKUP，priority改爲比Master小。

global_defs {
  router_id LVS_SLAVE # 設置lvs的id，在一個網絡內應該是唯一的
}
vrrp_instance VI_1 {
  state BACKUP #指定Keepalived的角色，MASTER爲主，BACKUP爲備 記得大寫
  interface ens33 #網卡id 不同的電腦網卡id會有區別 可以使用:ip a查看
  virtual_router_id 51 #虛擬路由編號，主備要一致
  priority 50 #定義優先級，數字越大，優先級越高，主DR必須大於備用DR
  advert_int 1 #檢查間隔，默認爲1s
  authentication {
    auth_type PASS
    auth_pass 12345678
  }
  virtual_ipaddress {
    192.168.174.128/24 #定義虛擬IP(VIP)爲192.168.174.128，可多設，每行一個
  }
}
# 定義對外提供服務的LVS的VIP以及port
virtual_server 192.168.174.128 80 {
  delay_loop 6 # 設置健康檢查時間，單位是秒
  lb_algo rr # 設置負載調度的算法爲wlc
  lb_kind DR # 設置LVS實現負載的機制，有NAT、TUN、DR三個模式
  nat_mask 255.255.255.0
  persistence_timeout 0
  protocol TCP
  real_server 192.168.88.137 80 {
    weight 1
    TCP_CHECK {
      connect_timeout 10
      nb_get_retry 3
      delay_before_retry 3
      connect_port 80
    }
  }
  real_server 192.168.88.139 80 {
    weight 1
    TCP_CHECK {
      connect_timeout 10
      nb_get_retry 3
      delay_before_retry 3
      connect_port 80
    }
  }
}

兩臺Nginx服務器

執行以下命令

vim /etc/sysconfig/network-scripts/ifcfg-lo:0

填寫以下配置並保存

DEVICE=lo:0
IPADDR=192.168.88.128
NETMASK=255.255.255.255
BROADCAST=192.168.88.128
ONBOOT=yes
NAME=lvs_vip

修改ARP

vim /etc/sysctl.conf

填寫配置並保存

net.ipv4.conf.all.arp_ignore = 1 
net.ipv4.conf.all.arp_announce = 2 
net.ipv4.conf.lo.arp_ignore = 1 
net.ipv4.conf.lo.arp_announce = 2

重啓網卡

sysctl -p
systemctl restart network

那麼以上關於LVS部分就搭建好了。

Nginx的部署

在兩臺Nginx服務器都執行以下指令

添加源並安裝

rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

yum install -y nginx

 

填寫Nginx配置

把http裏【#開始】到【#結束】這段拷貝進去就可以了。

user  nginx;
worker_processes  1;
error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    #開始
    upstream 192.168.88.139{
        server localhost:5001 weight=1;
        server localhost:5002 weight=1;
    }
    server {
        listen       80;
        server_name  192.168.88.139;
        charset utf8;
    
        client_max_body_size 50m;
        client_body_buffer_size 256k;
    
    location / {
        proxy_pass        http://192.168.88.139;
        proxy_set_header X-Forwarded-For $remote_addr;
        proxy_set_header Host $host;    
        }
    }
    #結束
}

設置開機啓動

systemctl start nginx.service

systemctl enable  nginx.service

重啓防火牆

firewall-cmd --permanent --zone=public --add-port=80/tcp

firewall-cmd --reload

 以上關於Nginx的部分就完成了搭建。可以通過以下指令查看LVS的調度與連接信息。

查看LVS調度信息

ipvsadm -Ln

查看LVS連接信息

ipvsadm -Lnc

.Net Core部署

添加下載源：

rpm -Uvh https://packages.microsoft.com/config/centos/7/packages-microsoft-prod.rpm

下載安裝：

sudo yum install aspnetcore-runtime-2.2

通過FTP把Web站點文件複製兩份並上傳到服務器，然後啓動後臺進程：

nohup dotnet Test1.dll --server.urls "http://*:5001" &

nohup dotnet Test1.dll --server.urls "http://*:5002" &

FTP服務器的部署

安裝FTP服務器：

yum install -y vsftpd

修改配置：

vim /etc/vsftpd/vsftpd.conf

把已有的三項配置修改了：

anonymous_enable=NO
listen=YES
#listen_ipv6=YES

啓動

systemctl start vsftpd
systemctl enable vsftpd 

重啓防火牆

firewall-cmd --permanent --zone=public --add-service=ftp
firewall-cmd --reload

允許root登錄，把以下兩個文件的root註釋了

vim /etc/vsftpd/user_list
vim /etc/vsftpd/ftpusers
#root

關掉selinux，會影響上傳

setenforce 0
vim /etc/selinux/config
#將SELINUX=enforcing改爲SELINUX=permissive

FTP客戶端—FileZilla下載地址

https://filezilla-project.org/download.php?type=client

結束

　　以上爲本篇的所有內容了，負載均衡在實際工作中涉及的地方挺多的，因此我將分爲上下兩篇，該篇爲負載均衡的上篇主要從大方向DNS、LVS、Nginx進行了分享，下篇會從微服務架構裏使用到的組件API網關和註冊中心進行探討，如果大家在實踐上遇到任何問題，或者有更好的建議可以到評論反饋給我。