一、Nginx安裝
1、去官網http://nginx.org/下載對應的nginx包,推薦使用穩定版本
2、上傳nginx到linux系統
3、安裝依賴環境
(1)安裝gcc環境yum install gcc-c++
(2)安裝PCRE庫,用於解析正則表達式
yum install -y pcre pcre-devel
(3)zlib壓縮和解壓縮依賴
yum install -y zlib zlib-devel
(4)SSL 安全的加密的套接字協議層,用於HTTP安全傳輸,也就是https
yum install -y openssl openssl-devel
4、解壓,需要注意,解壓後得到的是源碼,源碼需要編譯後才能安裝
tar -zxvf nginx-1.16.1.tar.gz
5、編譯之前,先創建nginx臨時目錄,如果不創建,在啓動nginx的過程中會報錯
mkdir /var/temp/nginx -p
6、在nginx目錄,輸入如下命令進行配置,目的是爲了創建makefile文件
./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi
注:代表在命令行中換行,用於提高可讀性配置命令:
7、make編譯安裝
make
make install
8、進入sbin目錄啓動nginx
啓動:nginx
停止:./nginx -s stop
重新加載:./nginx -s reload
二、配置反向代理
1、配置upstream
upstream [proxyName] {
server 192.168.1.173:8080;
server 192.168.1.174:8080;
server 192.168.1.175:8080;
}
2、配置server
server { listem 80; server_name www.iwmyx.cn;
location / { proxy_pass http://tomcats; }
}
三、配置負載均衡
nginx默認採用輪訓的方式進行負載均衡1、使用加權輪詢
upstream [proxyName] {
server 192.168.1.173:8080 weight=1;
server 192.168.1.174:8080 weight=5;
server 192.168.1.175:8080 weight=2;
}
2、hash負載均衡
upstream [proxyName] {
ip_hash
server 192.168.1.173:8080;
server 192.168.1.174:8080;
server 192.168.1.175:8080;
}
hash算法實際上只會計算 192.168.1這段做哈希
使用ip_hash的注意點:
- 不能把後臺服務器直接移除,只能標記down.
upstream [proxyName] { hash $request_url;
server 192.168.1.173:8080; server 192.168.1.174:8080; server 192.168.1.175:8080;
}
4、最小連接負載均衡
upstream [proxyName] {
least_conn;
server 192.168.1.173:8080;
server 192.168.1.174:8080;
server 192.168.1.175:8080;
}
四、upstream指令參數
- max_conns:限制最大同時連接數 1.11.5之前只能用於商業版
- slow_start:單位秒,權重在指定時間內從1上升到指定值,不適用與hash負載均衡、隨機負載均衡 如果在 upstream 中只有一臺 server,則該參數失效(商業版纔有)
- down:禁止訪問
- backup:備用機 只有在其他服務器無法訪問的時候才能訪問到 不適用與hash負載均衡、隨機負載均衡
- max_fails:表示失敗幾次,則標記server已宕機,剔出上游服務 默認值1
- fail_timeout:表示失敗的重試時間 默認值10
upstream [proxyName] { server 192.168.1.173:8080 weight=1; server 192.168.1.174:8080 weight=5; server 192.168.1.175:8080 weight=2;
keepalive 32; #保持的連接數
}
server {
listem 80;
server_name www.iwmyx.cn;location / { proxy_pass http://tomcats; proxy_http_version 1.1; #連接的協議版本 proxy_set_header Connection ""; 清空連接請求頭 }
}
2、控制瀏覽器緩存
server {
listem 80;
server_name www.iwmyx.cn;
location / {
proxy_pass http://tomcats;
expires 10s; #瀏覽器緩存10秒鐘
#expires @22h30m #在晚上10點30的時候過期
#expires -1h #緩存在一小時前時效
#expires epoch #不設置緩存
#expires off #緩存關閉,瀏覽器自己控制緩存
#expires max #最大過期時間
}
}
3、反向代理緩存
upstream [proxyName] {
server 192.168.1.173:8080 weight=1;
server 192.168.1.174:8080 weight=5;
server 192.168.1.175:8080 weight=2;
}
#proxy_cache_path 設置緩存保存的目錄的位置
#keys_zone設置共享內以及佔用的空間大小
#mas_size 設置緩存最大空間
#inactive 緩存過期時間,錯過此時間自動清理
#use_temp_path 關閉零時目錄
proxy_cache_path /usr/local/nginx/upsteam_cache keys_zone=mycache:5m max_size=1g inactive=8h use_temp_path=off;
server {
listem 80;
server_name www.iwmyx.cn;
#開啓並使用緩存
proxy_cache mycache;
#針對200和304響應碼的緩存過期時間
proxy_cache_valid 200 304 8h;
location / {
proxy_pass http://tomcats;
}
}
五、配置ssl證書提供https訪問
1. 安裝SSL模塊
要在nginx中配置https,就必須安裝ssl模塊,也就是:http_ssl_module
。
進入到nginx的解壓目錄:/home/software/nginx-1.16.1
新增ssl模塊(原來的那些模塊需要保留)
./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi \
--with-http_ssl_module
編譯和安裝
make
make install
2、配置HTTPS
把ssl證書*.crt
和 私鑰 *.key
拷貝到/usr/local/nginx/conf
目錄中。
新增 server 監聽 443 端口:
server {
listen 443;
server_name www.iwmyx.cn;
# 開啓ssl
ssl on;
# 配置ssl證書
ssl_certificate 1_www.iwmyx.cn_bundle.crt;
# 配置證書祕鑰
ssl_certificate_key 2_www.iwmyx.cn.key;
# ssl會話cache
ssl_session_cache shared:SSL:1m;
# ssl會話超時時間
ssl_session_timeout 5m;
# 配置加密套件,寫法遵循 openssl 標準
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE;
ssl_prefer_server_ciphers on;
location / {
proxy_pass http://tomcats/;
index index.html index.htm;
}
}
六、配置ha nginx
1、安裝keepalived
(1)下載https://www.keepalived.org/download.html
(2)解壓
wget https://www.keepalived.org/software/keepalived-2.2.7.tar.gz
tar -zxvf keepalived-2.2.7.tar.gz
(3)使用configure命令配置安裝目錄與核心配置文件所在位置:
./configure --prefix=/usr/local/keepalived --sysconf=/etc
- prefix:keepalived安裝的位置sysconf:keepalived核心配置文件所在位置,固定位置,改成其他位置則keepalived啓動不了,/var/log/messages中會報錯
- sysconf:keepalived核心配置文件所在位置,固定位置,改成其他位置則keepalived啓動不了,/var/log/messages中會報錯
*** WARNING - this build will not support IPVS with IPv6. Please install libnl/libnl-3 dev libraries to support IPv6 with IPVS.
安裝libnl/libnl-3依賴
yum -y install libnl libnl-devel
(4)安裝keepalived
make && make install
(5)配置文件 在/etc/keepalived/keepalived.conf
(6)忘記安裝配置的目錄,則通過如下命令找到:
whereis keepalived
(7)啓動keepalived
進入sbin目錄
./keepalived
2、配置keepalived 主機
(1)通過命令vim keepalived.conf
打開配置文件
global_defs { # 路由id:當前安裝keepalived的節點主機標識符,保證全局唯一 router_id keep_171 }
vrrp_instance VI_1 {
# 表示狀態是MASTER主機還是備用機BACKUP
state MASTER
# 該實例綁定的網卡
interface ens33
# 保證主備節點一致即可
virtual_router_id 51
# 權重,master權重一般高於backup,如果有多個,那就是選舉,誰的權重高,誰就當選
priority 100
# 主備之間同步檢查時間間隔,單位秒
advert_int 2
# 認證權限密碼,防止非法節點進入
authentication {
auth_type PASS
auth_pass 1111
}
# 虛擬出來的ip,可以有多個(vip)
virtual_ipaddress {
192.168.1.161
}
}
附:查看網卡信息命令
ip addr
(2)啓動keepalived
(3)查看進程
ps -ef|grep keepalived
(4)查看vip(虛擬ip)
在網卡ens33下,多了一個192.168.1.161,這個就是虛擬ip
3、把keepalived註冊爲系統服務
(1)拷貝配置文件- 將keepalived目錄下etc/init.d/keepalived拷貝到/etc/init.d/下
- 將keepalived目錄下etc/sysconfig/keepalived拷貝到/etc/sysconfig/下
systemctl daemon-reload
(3)啓動、停止、重啓keepalived
#啓動
systemctl start keepalived.service
#停止
systemctl stop keepalived.service
#重啓
systemctl restart keepalived.service
4、實現雙機主備高可用
(1)修改備機配置
global_defs {
router_id keep_172
}
vrrp_instance VI_1 {
# 備用機設置爲BACKUP
state BACKUP
interface ens33
virtual_router_id 51
# 權重低於MASTER
priority 80
advert_int 2
authentication {
auth_type PASS auth_pass 1111
}
virtual_ipaddress {
# 注意:主備兩臺的vip都是一樣的,綁定到同一個vip
192.168.1.161
}
}
(2) 啓動 Keepalived
(3) 訪問vip即可訪問主機,當主機失效時訪問vip就會訪問到備機
5、keepalived配置nginx自動重啓
(1)編寫腳本在/etc/keepalived/下創建腳本check_nginx_alive_or_not
#!/bin/bash
A=`ps -C nginx --no-header |wc -l`
# 判斷nginx是否宕機,如果宕機了,嘗試重啓
if [ $A -eq 0 ];then
/usr/local/nginx/sbin/nginx
# 等待一小會再次檢查nginx,如果沒有啓動成功,則停止keepalived,使其啓動備用機
sleep 3
if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
killall keepalived
fi
fi
(2)添加運行權限
chmod +x /etc/keepalived/check_nginx_alive_or_not.sh
(3)配置keepalived監聽nginx腳本
vrrp_script check_nginx_alive {
script "/etc/keepalived/check_nginx_alive_or_not.sh"
interval 2 # 每隔兩秒運行上一行腳本
weight 10 # 如果腳本運行失敗,則升級權重+10
}
(4)在vrrp_instance中新增監控的腳本
track_script {
check_nginx_alive # 追蹤 nginx 腳本
}
(5)重啓Keepalived使得配置文件生效
systemctl restart keepalived
6、keepalived雙主熱備
(1)配置DNS輪詢在同一個域名下配置兩個ip,自行百度
(2)配置第一臺主機
global_defs {
router_id keep_171
}
vrrp_instance VI_1 {
state MASTER i
nterface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.161
}
}
vrrp_instance VI_2 {
state BACKUP
interface ens33
virtual_router_id 52
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.162
}
}
(3)配置第二臺主機
global_defs {
router_id keep_172
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.161
}
}
vrrp_instance VI_2 {
state MASTER
interface ens33
virtual_router_id 52
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.162
}
}
(4)重啓兩臺Keepalived
systemctl restart keepalived
七、LVS(Linux Virtual Server)實現高可用負載均衡
1、爲什麼要使用LVS+Nginx
- lvs基於四層負載均衡,工作效率較Nginx的七層負載更高,使用LVS搭建Nginx集羣,可以提高性能
- 四層負載均衡無法對信息處理,只能通過ip+端口的形式轉發,所以需要七成負載進行數據的處理
- Nginx接收請求來回,LVS可以只接受不響應
2、LVS的三種模式
(1)NAT模式- 客戶端將請求發往LVS,LVS會選擇一臺服務器響應請求,服務器將結果返回給LVS,LVS再返回給客戶端。
- 在NAT模式中,服務器的網關必須指向LVS,否則報文無法送達客戶端
- NAT 技術將請求的報文和響應的報文都需要通過LVS進行地址改寫,因此網站訪問量比較大的時候負載均衡調度器有比較大的瓶頸,一般要求最多之能 10-20 臺節點
- NAT 模式支持對 IP 地址和端口進行轉換。即用戶請求的端口和真實服務器的端口可以不一致
- 客戶端將請求發往LVS,LVS會選擇一臺服務器響應請求,在客戶端與服務器之間建立隧道,返回結果的時候直接由服務器返回響應,不在經過LVS。
- TUN模式必須所有的服務器上都綁定VIP的IP地址,所有的服務器都必須有網卡。
- TUN模式走隧道運維難度大,並且會直接暴露服務器地址
- 服務器將應答包直接發給用戶。所以,減少了負載均衡器的大量數據流動,負載均衡器不再是系統的瓶頸,就能處理很巨大的請求量,這種方式,一臺負載均衡器能夠爲很多服務器進行分發。而且跑在公網上就能進行不同地域的分發
- 客戶端將請求發往LVS,LVS會選擇一臺服務器響應請求,返回結果的時候通過統一的路由進行返回,不在經過LVS。
- 和TUN模式一樣,LVS只是分發請求,應答包通過單獨的路由返回給客戶端,與TUN相比這種方式不需要隧道結構,可以兼容大多數的操作系統,同時統一路由可以隱藏真實的物理服務器。DR模式效率更高,但配置更復雜.
- 所有服務器節點和LVS只能在一個局域網裏面。
3、搭建LVS-DR模式
先關閉掉服務器上網絡配置管理器,避免網絡接口衝突
systemctl stop NetworkManager
systemctl disable NetworkManager
(1)創建子接口(創建LVS的虛擬ip)
進入網卡配置目錄/etc/sysconfig/network-scripts/,找到網卡配置文件,這裏以ifcfg-ens33爲例,拷貝並創建子接口
cp ifcfg-ens33 ifcfg-ens33:1
修改子接口配置如下
- 配置中的 192.168.1.150 就是vip,是提供給外網用戶訪問的ip地址
DEVICE="ens33:1"
ONBOOT="yes"
IPADDR=192.168.1.150
NETMASK=255.255.255.0
BOOTPROTO=static
- 重啓網絡服務
service network restart
重啓成功後,ip addr 查看一下,你會發現多了一個ip,也就是虛擬ip(vip)
注意:阿里雲不支持配置網卡,需要購買相應的負載均衡服務,騰訊雲支持配置網卡,但需要購買網卡支持,一個網卡支持10個虛擬ip配置(2)安裝ipvsadm
如今的centos都集成了LVS,所以ipvs是自帶的,我們只需要安裝ipvsadm即可(ipvsadm是管理集羣的工具,通過ipvs可以管理集羣,查看集羣等操作)
yum install ipvsadm
(3)配置服務器(RS)的虛擬ip
進入網卡配置目錄/etc/sysconfig/network-scripts/,找到ifcfg-lo,拷貝並創建子接口
cp ifcfg-lo ifcfg-lo:1
修改子接口配置如下
DEVICE="lo:1"
IPADDR=192.168.1.150
NETMASK=255.255.255.255
NETWORK=127.0.0.0
BROADCAST=127.255.255.255
ONBOOT="yes"
NAME=loopback
重啓網絡服務成功後,ip addr 查看一下,你會發現多了一個ip,也就是虛擬ip(vip)
(4)爲服務器(RS)配置arp
ARP響應級別與通告行爲參數說明
arp-ignore:ARP響應級別(處理請求)
0:只要本機配置了ip,就能響應請求
1:請求的目標地址到達對應的網絡接口,纔會響應請求
arp-announce:ARP通告行爲(返回響應)
0:本機上任何網絡接口都向外通告,所有的網卡都能接受到通告
1:儘可能避免本網卡與不匹配的目標進行通告2:只在本網卡通告
打開sysctl.conf:
vim /etc/sysctl.conf
配置所有網卡、默認網卡以及虛擬網卡的arp響應級別和通告行爲,分別對應:all,default,lo
# configration for lvs
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
刷新配置文件
sysctl -p
增加一個網關,用於接收數據報文,當有請求到本機後,會交給lo去處理
route add -host 192.168.1.150 dev lo:1
將網關添加至開機啓動
echo "route add -host 192.168.1.150 dev lo:1" >> /etc/rc.local
(4)使用ipvsadm配置集羣規則
創建LVS節點,用戶訪問的集羣調度者
ipvsadm -A -t 192.168.1.150:80 -s rr -p 5
- -A:添加集羣
- -t:tcp協議ip地址:設定集羣的訪問
- ip:也就是LVS的虛擬ip
- -s:設置負載均衡的算法,
- rr:表示輪詢
- -p:設置連接持久化的時間,在指定時間內同一個用戶的請求會訪問到同一個服務器中
ipvsadm -a -t 192.168.1.150:80 -r 192.168.1.171:80 -g
ipvsadm -a -t 192.168.1.150:80 -r 192.168.1.172:80 -g
- -a:添加真實服務器
- -t:tcp協議
- -r:真實服務器的ip地址
- -g:設定DR模式
ipvsadm -S
檢查集羣
#查看集羣列表
ipvsadm -Ln
#查看集羣狀態
ipvsadm -Ln --stats
一些其他命令
# 重啓ipvsadm,重啓後需要重新配置
service ipvsadm restart
# 查看持久化連接
ipvsadm -Ln --persistent-conn
# 查看連接請求過期時間以及請求源ip和目標ip
ipvsadm -Lnc
# 設置tcp tcpfin udp 的過期時間(一般保持默認)
ipvsadm --set 1 1 1
# 查看過期時間
ipvsadm -Ln --timeout
(5)訪問虛擬ip,完成LVS搭建
附:LVS的負載均衡算法
(1)靜態算法
靜態:根據LVS本身自由的固定的算法分發用戶請求。- 輪詢(Round Robin 簡寫’rr’):輪詢算法假設所有的服務器處理請求的能力都一樣的,調度器會把所有的請求平均分配給每個真實服務器。(同Nginx的輪詢)
- 加權輪詢(Weight Round Robin 簡寫’wrr’):安裝權重比例分配用戶請求。權重越高,被分配到處理的請求越多。(同Nginx的權重)
- 源地址散列(Source Hash 簡寫’sh’):同一個用戶ip的請求,會由同一個RS來處理。(同Nginx的ip_hash)
- 目標地址散列(Destination Hash 簡寫’dh’):根據url的不同,請求到不同的RS。(同Nginx的url_hash)
(2)動態算法
動態:會根據流量的不同,或者服務器的壓力不同來分配用戶請求,這是動態計算的。- 最小連接數(Least Connections 簡寫’lc’):把新的連接請求分配到當前連接數最小的服務器。
- 加權最少連接數(Weight Least Connections 簡寫’wlc’):服務器的處理性能用數值來代表,權重越大處理的請求越多。Real Server 有可能會存在性能上的差異,wlc動態獲取不同服務器的負載狀況,把請求分發到性能好並且比較空閒的服務器。
- 最短期望延遲(Shortest Expected Delay 簡寫’sed’):特殊的wlc算法。舉例闡述,假設有ABC三臺服務器,權重分別爲1、2、3 。如果使用wlc算法的話,當一個新請求進來,它可能會分給ABC中的任意一個。使用sed算法後會進行如下運算:
- A:(1+1)/1=2
- B:(1+2)/2=3/2
- C:(1+3)/3=4/3
八、搭建Keepalived+Lvs+Nginx高可用集羣負載均衡
如果原先服務器上配置了LVS+nginx需要清空ipvsadm中的配置ipvsadm -C
如果配置了Keepalived+Nginx
雙主集羣也需要去除掉Keepalived中原先的配置,按照的後文進行配置
(1)使用keepalived配置Master LVS
在LVS的機器上安裝keepalived,安裝過程參考上文(1)修改keepalived的配置
global_defs {
router_id keep_151
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 41
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.150
}
}
#配置集羣訪問的ip+端口,端口和nginx保持一致
virtual_server 192.168.1.150 80{
#健康檢查的時間,單位:秒
delay_loop 6
#配置負載均衡的算法,默認的輪詢
lb_algo rr
#設置LVS的模式 NAT|TUN|DR
lb-kind DR
#設置會話持久化的時間
persistence_timeout 5
#協議
protocol TCP
#配置負載均衡的真實服務器,也就是nginx節點的具體的ip地址
real_server 192.168.1.171 80{
#輪詢權重配比
weight 1
#設置健康檢查
TCP_CHECK {
#檢查80端口
connect_port 80
#超時時間
connect_timeout 2
#重試次數
nb_get_retry 2
#重試間隔時間
delay_before_retry 3
}
}
real_server 192.168.1.171 80{
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 2
nb_get_retry 2
delay_before_retry 3
}
}
}
(2)啓動/重啓keepalived
systemctl restart keepalived
(2)使用keepalived配置Backup LVS
配置在備用機上global_defs { router_id keep_152 } vrrp_instance VI_1 { state BACKUP interface ens33 virtual_router_id 41 priority 50 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.1.150 } }
配置集羣訪問的ip+端口,端口和nginx保持一致
virtual_server 192.168.1.150 80{
#健康檢查的時間,單位:秒
delay_loop 6
#配置負載均衡的算法,默認的輪詢
lb_algo rr
#設置LVS的模式 NAT|TUN|DR
lb-kind DR
#設置會話持久化的時間
persistence_timeout 5
#協議
protocol TCP#配置負載均衡的真實服務器,也就是nginx節點的具體的ip地址 real_server 192.168.1.171 80{ #輪詢權重配比 weight 1 #設置健康檢查 TCP_CHECK { #檢查80端口 connect_port 80 #超時時間 connect_timeout 2 #重試次數 nb_get_retry 2 #重試間隔時間 delay_before_retry 3 } } real_server 192.168.1.171 80{ weight 1 TCP_CHECK { connect_port 80 connect_timeout 2 nb_get_retry 2 delay_before_retry 3 } }
}