友情提示：全文2000多文字，預計閱讀時間6分鐘
背 景
隨着雲計算及大數據技術的迅猛發展，流量和後臺複雜度越來越高，企業對負載均衡組件的需求越來越強烈。主流的雲服務提供商都在第一時間上線了相應的負載均衡服務。而相關的開源軟負載均衡組件經過這麼多年發展，已經非常成熟，其在X86架構的先天優勢，以其兼容性，豐富度，低成本的特性，已經作爲雲上服務的首選。如果還是沿用採購負載服務器軟硬件的方式，成本，運維，擴展等都是很大的問題。移動雲急需要一個高性能軟負載均衡方案，來滿足內部負載，雲化快速部署，靈活配置的需求。
面臨的挑戰
OpenStack原生支持軟負載均衡，其中Lbaasv2作爲OpenStack社區的標準，提供了豐富的插件和驅動。但是開源負載均衡插件只能在現有的框架下，提供有限的服務，原生最典型的插件就是Haproxy，其有諸多缺點：
功能上不支持UDP，不支持POP/SMTP等郵件協議，不支持擴展功能，重載配置的時候需要重啓進程，不支持HTTP緩存也限制了其提供Web服務的能力
性能上由於其框架的限制，多進程支持不夠友好，在大併發，高流量的時候存在瓶頸
原生Haproxy插件不支持高可用，不支持多規格服務，無法動態擴容，缺乏雲上相關產品、工具、服務等周邊
所以原生的Haproxy更多的是作爲一個基於Lbaasv2框架的參考實現存在於組件裏，或者滿足一些沒有自主研發能力，需求不是很嚴格，但是急需相關軟負載均衡服務的雲場景。但是真正要提供商業化的負載均衡服務，其可運維能力，監控告警能力，高可用能力等等，都是極其重要的，僅依靠一個開源插件是遠達不到要求的。而在OpenStack環境中，基於Lbaasv2框架，參考Haproxy自研Plugin驅動，提供完善的周邊工具的方案，成爲了雲上部署開源負載均衡服務的最佳選擇。
我們的方案
經過前期調研和討論，我們發現LVS在性能上具有得天獨厚的優勢，但是其只支持四層負載，無法完全滿足需求，如用戶的HTTP、HTTPS場景，迫切需要提供七層負載均衡的能力。那LVS+Haproxy是否滿足需求呢？鑑於上文提到的Haproxy的缺點，我們選擇尋找替代方案。而Nginx在社區的活躍度，功能完善程度上，遠超Haproxy，經過一系列測試，完全可以滿足我們的需求，所以一致決定選擇採用LVS+Nginx搭配來提供軟負載均衡四層加七層的服務。
業務架構
BC-SLB-C 的業務架構圖如下，可以提供四層和七層負載均衡服務：
四層採用LVS + Keepalived的方式實現負載均衡，默認採用主備集羣模式，可以根據業務需求靈活配置LVS實例數量，比如採取一主多備的集羣模式，進一步提升系統的高可用性。
七層採用Nginx實現負載均衡，並根據雲計算場景需求進行了個性化配置，添加了很多高級功能和調優配置，可以根據業務需求橫向動態擴展Nginx實例數量，提升集羣服務性能。
圖1 業務架構
靈活部署
BC-SLB-C 可以根據用戶選擇的規格靈活配置Nginx集羣實例數量，在業務高峯時可以動態擴展負載均衡實例數量以滿足高併發需求，用戶也可以根據需要增加後端雲主機實例數量，當需求減少時，可以縮減後端雲主機實例以降低成本。
圖2 靈活擴展
以上方案經過我們的優化測試，性能並不低於開源負載均衡，而且兼容所有的Lbaasv2接口，配合自主研發的運維監控工具，在技術上，而且架構靈活，支持高可用，已經可以涵蓋支持絕大多數商業負載均衡產品的功能。
性能表現
BC-SLB-C 基於開源的驅動性能如何，我們看下對比：
圖3 性能對比
帶寬上Haproxy只有不到700Mbps，阿里云爲1.4Gbps，而BC-SLB-C可以達到2.1Gbps左右，已經遠超開源Haproxy，甚至超過阿里雲（帶寬KB*8/1024）。
QPS上Haproxy只有26084，阿里雲在37699左右，而BC-SLB-C通過調優Nginx和內核參數，達到了61044，遠遠超過了阿里雲。
以上圖數據由wrk在內網環境測得，由於使用LVS 加Nginx的方案，只要LVS不存在瓶頸，通過對Nginx節點調優或者增加節點，還可以達到更高。
未來思考
OpenStack的組件版本衆多，如何在多版本之間提供支持，快速兼容，需要把網絡，SDN，接口層都考慮進去提供統一的操作方案。而云上考慮的不僅僅是負載均衡功能、性能，在運維、監控、告警、可配置性等方面，都需要支持並完善。下一步我們計劃繼續對標主流的廠商如阿里雲，提供多規格的負載均衡服務，在系統加速，網絡加速，物理機支持等方向進行重點突破。
結語
BC-SLB-C由操作系統組-大雲負載均衡團隊負責開發，歡迎有志之士加入我們的團隊，共同參與雲上軟負載均衡的開發，探索實現更多的可能。
簡歷可發至[email protected]
掃碼↓加微信瞭解更多。
-End：）
往期精選
1、大雲製造 | 安全服務產品搶先看（上）— 安全管家/***測試/安全評估
2、大雲製造 | BC-Linux For ARM64 V7.6操作系統正式發佈
3、大雲製造 | 大雲PaaS平臺v3.1發佈 - 功能全面升級，與客戶共創價值
