本文轉自:https://www.cnblogs.com/youzhibing/p/7327342.html
目錄
前言
使用集羣是網站解決高併發、海量數據問題的常用手段。當一臺服務器的處理能力、存儲空間不足時,不要企圖去換更強大的服務器,對大型網站而言,不管多麼強大的服務器,都滿足不了網站持續增長的業務需求。這種情況下,更恰當的做法是增加一臺服務器分擔原有服務器的訪問及存儲壓力。通過負載均衡調度服務器,將來自瀏覽器的訪問請求分發到應用服務器集羣中的任何一臺服務器上,如果有更多的用戶,就在集羣中加入更多的應用服務器,使應用服務器的負載壓力不再成爲整個網站的瓶頸。
摘自《大型網站技術架構_核心原理與案例分析》
另外,大家可以看我的這兩篇博客:LVS + keepalived + nginx + tomcat 實現主從熱備 + 負載均衡 和 主從熱備+負載均衡(LVS + keepalived),對比下這三篇博客,其中區別及各自的優缺點需要大家好好體會。
環境準備
192.168.0.221:nginx + keepalived master
192.168.0.222:nginx + keepalived backup
192.168.0.223:tomcat
192.168.0.224:tomcat
虛擬ip(VIP):192.168.0.200,對外提供服務的ip,也可稱作浮動ip
各個組件之間的關係圖如下:
tomcat做應用服務器
tomcat的安裝不在本博客範圍之內,具體可參考virtualBox安裝centos,並搭建tomcat,tomcat的webapps下記得放自己的應用,我的是myWeb,如果大家也用我的myWeb,那麼index.jsp中的ip需要換成自己的
將192.168.0.223、192.168.0.224上的tomcat啓動起來,tomcat的路徑可能和我的不一致,需要寫成自己的
# cd /usr/local/tomcat7/bin
# ./startup.sh
訪問myWeb如下
nginx做負載均衡
nginx的安裝,本文就不講述了,具體可參考LVS + keepalived + nginx + tomcat 實現主從熱備 + 負載均衡
nginx.conf內容如下
1/usr/local/nginx/logs//usr/local/nginx/logs//usr/local/nginx/logs//usr/local/nginx/logs//1024/octet-1284/6541.12/plain application/x-javascript text/css application/192.168.0.223:8080 weight=4 max_fails=2 fail_timeout=192.168.0.224:8080 weight=4 max_fails=2 fail_timeout=80/~ \.(jsp|jspx|dp)?-Real-~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|~ .*\.(js|css)?500 502 503 504 /= /
主從nginx的配置文件完全一樣,nginx.conf配置可複雜可簡單,大家根據自己的情況自行配置,照搬上述配置也是可以的。
配置好後,啓動nginx,路徑要寫自己的
# cd /usr/local/nginx/sbin
# ./nginx
訪問nginx,效果如下:
兩臺nginx服務器服務正常,此時是沒有主從之分的,兩者級別一樣高,當配置keepalived之後就有了主從之分了。
keepalived實現nginx高可用(HA)
keepalived的安裝本文就不講述了,具體可參考主從熱備+負載均衡(LVS + keepalived)
keepalived作用其實在第一張圖中已經有所體現,主要起到兩個作用:實現VIP到本地ip的映射; 以及檢測nginx狀態。
master上的keepalived.conf內容如下:
global_defs { notification_email { [email protected] } notification_email_from [email protected] smtp_server smtp.hysec.com smtp_connection_timeout 30 router_id nginx_master # 設置nginx master的id,在一個網絡應該是唯一的 } vrrp_script chk_http_port { script "/usr/local/src/check_nginx_pid.sh" #最後手動執行下此腳本,以確保此腳本能夠正常執行 interval 2 #(檢測腳本執行的間隔,單位是秒) weight 2} vrrp_instance VI_1 { state MASTER # 指定keepalived的角色,MASTER爲主,BACKUP爲備 interface eth0 # 當前進行vrrp通訊的網絡接口卡(當前centos的網卡) virtual_router_id 66 # 虛擬路由編號,主從要一直 priority 100 # 優先級,數值越大,獲取處理請求的優先級越高 advert_int 1 # 檢查間隔,默認爲1s(vrrp組播週期秒數) authentication { auth_type PASS auth_pass 1111 } track_script { chk_http_port #(調用檢測腳本) } virtual_ipaddress { 192.168.0.200 # 定義虛擬ip(VIP),可多設,每行一個 } }
backup上的keepalived.conf內容如下:
global_defs { notification_email { [email protected] } notification_email_from [email protected] smtp_server smtp.hysec.com smtp_connection_timeout 30 router_id nginx_backup # 設置nginx backup的id,在一個網絡應該是唯一的 } vrrp_script chk_http_port { script "/usr/local/src/check_nginx_pid.sh" interval 2 #(檢測腳本執行的間隔) weight 2} vrrp_instance VI_1 { state BACKUP # 指定keepalived的角色,MASTER爲主,BACKUP爲備 interface eth0 # 當前進行vrrp通訊的網絡接口卡(當前centos的網卡) virtual_router_id 66 # 虛擬路由編號,主從要一直 priority 99 # 優先級,數值越大,獲取處理請求的優先級越高 advert_int 1 # 檢查間隔,默認爲1s(vrrp組播週期秒數) authentication { auth_type PASS auth_pass 1111 } track_script { chk_http_port #(調用檢測腳本) } virtual_ipaddress { 192.168.0.200 # 定義虛擬ip(VIP),可多設,每行一個 } }
nginx檢測腳本check_nginx_pid.sh內容如下:
#!/bin/bash A=`ps -C nginx --no-header |wc -l` if [ $A -eq 0 ];then /usr/local/nginx/sbin/nginx #重啓nginx if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then #nginx重啓失敗,則停掉keepalived服務,進行VIP轉移 killall keepalived fi fi
啓動keepalived
# service keepalived start
訪問VIP,效果如下:
我們來看下keepalived的日誌信息
master(192.168.0.221):
backup(192.168.0.222):
當我們把master上的keepalived停掉(模擬宕機),再來看下keepalived日誌
原master(192.168.0.221):
原backup(192.168.0.222):
通過VIP可以正常訪問服務,前端請求感受不到後端nginx的切換;重新喚醒原master(192.168.0.221)的測試這裏就不進行了,大家自行測試
注意點
1、執行腳本時報錯:/bin/sh^M: bad interpreter: 沒有那個文件或目錄
因爲操作系統是windows,我在windows下編輯的腳本,所以有可能有不可見字符。腳本文件是DOS格式的, 即每一行的行尾以回車符和換行符來標識, 其ASCII碼分別是0x0D, 0x0A。可以有很多種辦法看這個文件是DOS格式的還是UNIX格式的, 還是MAC格式的
解決方法:
vim filename
:set ff? #可以看到dos或unix的字樣. 如果的確是dos格式的。
:set ff=unix #把它強制爲unix格式的, 然後存盤退出。
再次運行腳本。
從windows編輯文件再拷貝到linux時要特別注意,另外,腳本需要賦予可執行權限才能執行,可執行文件的一種直觀表現就是文件本身呈綠色。
2、負載均衡最好進行多瀏覽器測試,有些瀏覽器會緩存,會產生沒有負載均衡的效果,例如我這次測試中谷歌瀏覽器就出現了類似的情況(還沒搞清楚是否是緩存的原因),火狐,360、IE瀏覽器都是正常的負載均衡效果。
3、請求走向
訪問虛擬IP(VIP),keepalived將請求映射到本地nginx,nginx將請求轉發至tomcat,例如:http://192.168.0.200/myWeb/,被映射成http://192.168.0.221/myWeb/,端口是80,而221上nginx的端口正好是80;映射到nginx上後,nginx再進行請求的轉發。
keepalived服務器的ip情況
VIP總會在keepalived服務器中的某一臺上,也只會在其中的某一臺上;VIP綁定的服務器上的nginx就是master,當VIP所在的服務器宕機了,keepalived會將VIP轉移到backup上,並將backup提升爲master。
4、VIP也稱浮動ip,是公網ip,與域名進行映射,對外提供服務; 其他ip一般而言都是內網ip, 外部是直接訪問不了