百度智能雲可編程網關技術升級,爲AI原生雲打造10T級高速智能雲網絡


隨着數字化轉型和智能化升級的加速,更多的企業級應用開始基於多雲、混合雲、邊緣雲等新模式構建,比如自動駕駛、車路協同、物聯網、電商、視頻、遊戲等。這些應用對網絡提出了更高的要求,尤其是對雲網關產生了重大挑戰:


  • 面對動輒 T 級別的帶寬需求,以及業務流量突發的場景,採用傳統 x86集羣方案會導致集羣規模超大,容易出現擴容週期長、集羣流量負載不均等問題。

  • 面對邊緣節點的機房空間和能耗均有限的問題,統一各類網關設備,減少對機架位的佔用,同時降低能耗以符合碳達峯的要求,成爲必須解決的難題。


爲了更好地應對以上挑戰,百度智能雲推出了基於可編程硬件的新一代雲網關技術方案,並對專線網關、雲智能網、邊緣計算節點、彈性公網 IP、流日誌等產品進行了升級,滿足 AI 原生雲時代10T 級別的數據流通和管理需求。


百度智能雲網關從1.03.0的技術演進


最早的網關採用專用硬件實現。隨着對靈活性的需求以及 X86能力的提升,網關逐步從專有硬件轉變爲 X86集羣。


在人工智能、大數據應用的普及下,數據流通量級大幅增長,單純依靠 X86服務器集羣已經難以應對成百倍的帶寬增長。業界普遍開始採用軟件+硬件 Offload 加速的方案。這也是百度智能雲網關1.0的技術方案。


多雲、混合雲、邊緣雲等新的雲計算架構的應用,數據流通量級繼續爆發式增長,導致軟件+硬件 Offload 加速的方案也難以滿足需求,業界開始嘗試採用可編程硬件解決問題。


百度智能雲基於可編程硬件升級了自己的技術方案,相繼推出了網關2.03.0技術方案。


其中,網關2.0技術方案,對中心雲的相關網絡產品進行了全面升級,已經規模化部署上線。網關3.0技術方案,通過引入新的 UNP 架構,將帶寬能力升級了一倍,業務表項能力升級了百倍,在邊緣雲和中心雲已逐步開始落地。


應對客戶不同場景需求的產品家族


我們將在下文對應用了百度智能雲網關2.03.0技術方案的產品進行介紹,包括新特性和典型案例。



多雲互聯場景:專線網關


專線網關是 VPC 打通用戶 IDC 或者多雲之間實現內網互聯的重要產品。爲了滿足客戶對專線的海量帶寬和頻繁擴容的需求,百度智能雲的專線網關通過可編程硬件部分負責處理海量帶寬、低時延、有限配置規模場景下的業務流量,對於其他流量不大的場景則全部交由 X86軟件網關處理。


>> 客戶實踐案例


某電商客戶採用多雲戰略,在百度智能雲和友商雲之間搭建了10T 級帶寬的混合雲專線。曾經至少需要600 X86軟件網關集羣,現在只需要16臺可編程硬件網關即可實現多雲間的海量資源對大吞吐帶寬、超穩低時延的需求。



跨地域互聯場景:雲智能網


雲智能網 CSN 實現了不同地域 VPC 之間、VPC 與本地數據中心之間的高性能、低延遲的網絡互通。客戶可以基於雲智能網打造企業級雲上全球一張網。相比傳統的對等連接方式,雲智能網的組網更加靈活。通過可編程硬件網關 TGW,雲智能網提供高吞吐接入的同時,也提供了靈活的路由策略和網絡 QoS 等能力,並且可以利用百度智能雲的骨幹網實現多 VPC 跨地域互聯的智能選路優化。


>> 客戶實踐案例:


某金融客戶通過雲智能網 CSN 打通了雲中心地域和邊緣節點的算力和存儲資源,並提供 T 級別的網絡吞吐能力,實現了全國範圍的業務部署和近源計算。



流量智能調度場景:彈性公網 IP


彈性公網 IP 爲用戶提供公網接入服務。通過可編程硬件網關 EGW 可滿足超大公網帶寬的訪問需求,並可以在不同業務需求下靈活調度流量。部分高吞吐的彈性公網 IP 流量直接通過 EGW 設備實現快速路徑轉發處理,節約大量慢速路徑的X86機器,同時縮小故障域、降低時延、減輕服務器間負載不均的問題;通過流量特徵識別,EGW 可以將公網流量按指定規則導流到不同的X86軟件網關集羣,從而實現故障域隔離或專屬集羣調度,典型場景如異常大象流的治理。


>> 客戶實踐案例:


某製造業客戶計算資源被劫持,對外實施 DDoS 攻擊,佔用較大網關處理能力導致正常業務丟包。通過彈性公網 IP 的流量特徵識別的能力,及時治理了問題流量,避免影響其他用戶,最大限度地降低用戶損失。



10T 級別流量分析場景:流日誌


流日誌用於記錄 VPC 中雲服務器、負載均衡、NAT 網關等實例發送和接收的網絡流信息,方便用戶進行流量分析、可視化、故障診斷以及網絡架構優化。百度智能雲的公網、專線、跨地域等邊界網關在實現了硬件化轉發的同時,提升了網絡診斷能力,支持流量的全量鏡像或者按比例鏡像分析,具備流粒度的精細化統計和安全審計功能。


>> 客戶實踐案例:


某電商客戶混合雲場景下,流日誌滿足了數十 T 級別專線,1000萬級 IP 地址對的實時流量分析、topN 展示、公網流量來源分地域統計和網絡攻擊行爲審計等業務需求。



超低成本的網關資源整合場景:邊緣計算節點


邊緣計算節點提供一站式靠近終端用戶的彈性計算資源。邊緣場景下,雲邊互聯、邊邊互聯需要雲網絡提供高質量的統一接入和管理服務。百度智能雲基於可編程硬件的網關3.0技術方案,打造了 UNPUniversal Networking Platform )平臺,實現一套可定製硬件基礎平臺輸出多種產品形態,兼顧軟件靈活性和硬件高性能,實現“超高帶寬 + 超低延時 + 超大表項”的軟硬一體化超融合系統,覆蓋公有云 IDC、邊緣計算、Local compute cluster 等場景。


UNP 實現控制面容器化部署+轉發面可編程硬件加速,同時 CPU 和可擴展 NIC 配合實現密鑰協商、IPsec 加解密以及 CPU 配合可編程硬件實現 DDoS 等安全功能,可以敏捷、靈活應對業務快速變化。


>> 客戶實踐案例:


在百度智能雲的邊緣計算節點,我們通過引入 UNP 平臺,對原本職責不同的衆多網關進行整合,使所需網關機器的數量縮減了80%



百度智能雲網關3.0的核心優勢


百度智能雲的網關2.03.0技術方案,相比1.0,在產品性能、彈性、能耗顯著提升:

  • 容量:單集羣幾百 G 升級爲幾十 T,集羣機器數目反而大幅度下降

  • 時延:30us 降至1us,長尾幾乎消失,轉發更快速。

  • 丟包率:十萬分之一降至數億分之一,網絡更可靠

  • 線速能力:256字節降至150字節,網絡更穩定

  • 擴容排期:月級別降至周級別,彈性能力更強

  • 擴容頻度:季度級別降至年級別,水位冗餘度提升

  • 能耗:單 T 能耗下降90%以上,現在每 T 僅需不到200w 能耗,實現碳減排


雖然可編程硬件的網關技術帶來了各項指標的大幅提升,但是相比 X86的幾百 GB 的內存,可編程硬件的存儲空間縮小爲幾百 Mb。容器場景下輔助 IP 的大量運用導致系統的表項規模產生了十倍乃至百倍的躍增,此時可編程硬件在表項容量上的緊缺成爲了新的問題。


百度智能雲運用多種手段,包括架構升級、單機優化、硬件升級等,將有限的存儲運用到極致,實現同等硬件條件下部分關鍵表項容量提升10倍,並具備分集羣擴展能力,滿足高性能的雲原生網絡需求。

本文分享自微信公衆號 - 百度開發者中心(baidudev)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章