騰訊開放平臺承載着廣泛開發者的夢想，騰訊的網絡平臺正爲其保駕護航。如何保障用戶對業務的訪問體驗、如何構建穩定可靠的數據中心及廣域網絡、如何適應 雲計算的多樣性需求打造雲網絡…… 騰訊網絡架構經過萌發期到海量的蛻變，其間發生了怎樣的變化？積累了哪些可供業界分享的經驗……
5月16日晚，騰訊大講堂·深圳站《架構之美——開放環境下的網絡架構》活動在騰訊總部騰訊大廈多功能廳舉辦，騰訊網絡架構中心總監馬志強在兩小時的演講中揭開了騰訊網絡架構背後的祕密。
騰訊業務的飛速發展，對網絡等基礎設施提出了海量運營的要求。同時，數量衆多、且型態各異的業務，所要求的網絡服務也各不相同……這些都是對網絡架構提出的巨大挑戰（圖1——網絡架構面對的挑戰）。
圖1——網絡架構面對的挑戰
2010年，騰訊推出了開放平臺，所有平臺開發者及合作伙伴的應用都可以在此平臺上成長和發展，與此同時，這對計算資源及網絡資源提出了更高的要求。經過不斷的探索與總結，最終得出：支撐騰訊開放雲平臺的網絡架構，必須要做到以下三點:
1． 網絡基礎設施要健壯強勁；
2． 網絡要適應多租戶接入需求；
3． 用戶網絡覆蓋質量要好。
在深入探尋如何實現以上三點前，需要先基本瞭解騰訊網絡架構。
騰訊的網絡架構不是一天構造而成、並具備支撐海量業務能力的，而是隨着業務的成長逐步發展起來的。在不斷髮展的十多 年期間，隨着業務在種類和容量上爆發式的增長，基礎網絡在技術、容量和架構上也在不斷提升，其提升的步伐甚至大於業務需求的步伐。因爲只有這樣，才能打造 一個穩健可靠的、服務於公司各項業務的網絡架構平臺。
發展至今，我們已有數十人的運營支撐團隊、數十人的專業設計構架團隊，共支撐超過20萬臺服務器。網絡設備達上萬 臺，具備業界領先的5000臺規模計算集羣數據中心網絡v3.5，搭建百G總容量的廣域網絡，支撐全國和海外數十個大中型IDC（圖2——網絡平臺構建， 與業務共成長）……
圖2——網絡平臺構建，與業務共成長
此網絡架構示意圖（圖3——網絡架構示意圖）中整體展示了我們的網絡架構：從數據中心內部的網絡到用於IDC互聯的城域網絡及廣域網絡，以及與運營商互聯的出口等。
圖3——網絡架構示意圖
儘管現在的網絡架構平臺有了很大的改進和提升，但團隊的努力沒有停留於此。我們繼續在架構和運營上不斷優化提升，從 “作坊式定製化的企業型網絡”向“海量計算集羣網絡及智能自定義網絡”努力！從“純手工式故障發現排除”向“全面監控智能化網絡”及“運營商級穩定網絡” 努力！
網絡基礎設施要健壯強勁
解決早期IDC網絡架構老大難題：
早期的IDC網絡架構主要存在四大問題：
1. 雜：網絡專區過多，特色服務難以快速滿足；
2. 亂：網絡穩定性欠缺，存在單播flooding；
3. 弱：網絡性能難以滿足需求，過高超載使得服務器獲得的帶寬較小；
4. 慢：網絡層次和設備多樣，標準程度不高，難以滿足快速建設需求；
面對這四大問題，騰訊團隊重新思考了老版本架構面臨新時代挑戰所存在的弊端、並對下一代網絡產品引入的可行性做了評 估之後，參考Google等大牛級架構設計、結合自身產品和企業特點，逐步構建成了具有歷史意義的v3.5 IDC網絡架構版本（圖4——騰訊V3.5數據中心網絡）。同時，CLOS架構（ http://en.wikipedia.org/wiki/Clos_network） 理念的引入，讓未來在此版本上持續的scale out也找到了數模依據。
圖4——騰訊V3.5數據中心網絡
網絡，穩定壓倒一切！
如果幾萬臺服務器分佈在一個城市的幾十個IDC，上千種業務在約100條萬兆互聯鏈路上產生約700G的跨IDC洪 流，每一次故障都會直接影響到用戶，這種後果是非常嚴重的。爲保障服務長期穩健運行，騰訊構建了運營商級別的城域和廣域網絡（圖5——運營商級別的城域和 廣域網絡）。
圖5——運營商級別的城域和廣域網絡
城域網採用標準化結構，構建承載力強、冗餘性高的健壯城域網絡。構建成上T級匯聚能力、百G級站點交互能力，自建大容量、高可靠傳輸系統的城域網。
廣域網主要從架構規整化及能力上大幅提升，就像建造能連接全國範圍IDC的高速鐵路和高速公路一樣，爲業務全國分佈 做好準備。同時，將廣域網監控精細化，使業務看得見、有意識、重協作，同時要想高鐵VIP一等座和普通座的劃分一樣對重點業務流量能夠予以保障，提供差異 化服務且使得資源效率高。
讓網絡看得見摸得着
爲了保障網絡的穩定可靠，真正實現能夠看得見、管得住、用得好，團隊自主研發了TMP系統（圖6——騰訊自主研發 TMP系統），實現了基礎架構海量節點實時監控支持。TMP系統覆蓋騰訊全量基礎設施，如20W+服務器、2W+網絡設備狀態、性能、容量的實時採集與智 能分析、1分鐘存活狀態監控、5分鐘性能、容量監控，以及100+IDC、200+外網出口、500+內網專線，從IDC內部服務器到出口、專線 FullMesh的5分鐘粒度的全方位網絡質量監控與度量體系。
同時，還具備騰訊基礎設施7*24的運營入口-NOC，每天400w條的海量信息處理和+80%故障處理解決率，覆 蓋公司全業務的基礎架構日常運營工作：業務安全防控、流量全局調度、業務質量檢測及演戲預案等系列前瞻性運營工作，爲海量業務提供高質量、全緯度的運營服 務。
圖6——騰訊自主研發TMP系統
新形態：多租戶接入需求
開放平臺的推出對全套的網絡架構提出了更高的要求，IDC網絡架構必須支持開發者、合作伙伴、自營業務等多種多樣業務的需求。
目前， IDC網絡架構v3.5可提供（圖7——網絡架構V3.5可提供服務）：
1. 適應自營業務和開放平臺業務的多種多樣需求， 如高帶寬/無阻塞通信、組播、Qos保障……
2. 雲計算數據中心的安全服務。網絡安全防護手段（VRF、VLAN ACL、PVLAN、基於標記的安全防護等）與硬件抽象層軟防火牆/DFW與相結合爲虛擬化環境提供所需的安全防護；
3. 整合網絡資源，統一調度快速交付。雲控制平臺/Matrix實現30分鐘交付虛擬機，通過自動化工具/例如雲計算網絡控制中心與Matrix對接，實現業務感知的網絡資源調度，VM遷移時，相關的網絡信息、網絡安全策略、Qos策略統一調度。
圖7——網絡架構V3.5可提供服務
與此同時，我們與業界一同進行前沿性研究-SDN/自定義網絡（圖8——騰訊與業界的前沿性研究—SDN），以滿足我們的IDC網絡能夠更加快速地實現業務所需的特性，更加靈活地平滑擴展。
圖8——騰訊與業界的前沿性研究—SDN
用戶網絡覆蓋質量要好
作爲業務側，對用戶體驗非常關心，也是網絡架構最關注重點優化的一個方面。
由於業務“內容”在這裏，而用戶“眼球”在運營商側，最終用戶的訪問體驗受到很多我們無法掌控的因素所影響。據統計，運營商網絡故障對騰訊的影響佔比連年超過70%。
舉個典型的例子，河南境內某處光纜中斷，對我方西安某運營商出口造成中斷，流量丟失40G左右。
所以要改善用戶體驗，爲業務提供良好的網絡覆蓋質量，我們在三個方面進行努力：看清、對齊、佈局。
看清 -- 點、線、面的網絡質量監控
用戶訪問體驗關係到諸多方面，用戶->IDC外網質量，IDC內部網絡質量，IDC間網絡質量，我們在TMP系統中實現全方位立體化的網絡質量監控。
對齊 -- 提前與運營商接口規劃信息
運營商省網/城域網、骨幹網等都是用戶體驗的關鍵環節，我們必須與運營商省/城公司、集團骨幹公司提前對齊規劃信 息，確保各個環節都能夠滿足我們的容量和質量要求，其中包括運營商骨幹網網絡容量和質量、省網/城域網上聯骨幹網帶寬容量和質量、省網/城域網網絡容量和 質量等。
佈局 – 網絡
在中國的運營商環境中，主力運營商間的互聯互通及長期保持質量都較差，除內容至少複製兩份之外，還有大批用戶在其他運營商網內，在移動互聯網大發展的時候，移動網內的用戶體驗非常關鍵。
所以在網絡佈局上，IDC和網絡資源上儘可能多提供多運營商接入環境。採用諸多關鍵技術方案，爲業務提供更多的運營商網絡接入環境，並保障安全，例如：
1. 域名引導；
2. BGP、IPSLA等網絡對接技術；
3. Netflow、Span等網絡分析；
4. 負載均衡、流量調度技術；
5. Anti-DDoS等安全防護。
佈局 – IDC資源
轉變 “被動接受”的IDC資源佈局模式。由於業界的IDC供給速度不足，在業務佈局前需考慮是哪裏有IDC，這樣會導致業務部署碎片多、交互效率低、對用戶覆蓋質量達不到、需事後推動改善等問題。
要向“用戶體驗爲首位”的資源佈局思路轉換，爲業務提供質量覆蓋良好且穩定的網絡訪問。
要建立好這個模型，我們必須深入瞭解並長期把脈中國的運營商網絡環境，且深入瞭解我們的業務需求，而非眉毛鬍子一把抓。針對這種情況，我們首先對業務進行了深入研究，將業務對用戶訪問體驗進行分級，如下示例：
另外，對IDC全國用戶的覆蓋質量進行長期追蹤、建立基線，以確保網絡質量保持恆定，而且我們還要有能力推動運營商或自行解決不符合要求的網絡覆蓋質量。
針對這種情況，我們推出類似這樣的模型，使得業務佈局最精簡，而且是對用戶覆蓋質量最好的。
通過“看清、對齊、佈局”三個方面的改善，我們通過全方位立體的網絡監控體系實時瞭解用戶的最終體驗情況，與運營商提前主動對齊規劃、主動推動改善優化，並通過IDC和網絡的佈局，最終實現用戶訪問質量的長期良好狀態。
總結
關於開放平臺網絡架構
1. 騰訊網絡架構提供高效穩定、安全可靠的通信。IDC網絡架構、城域及廣域網絡、出口網絡、對外互聯網絡等採用運營商級別的設備和技術；網絡架構爲開放雲平臺提供虛擬化支持、合作伙伴安全隔離等定製化特性，在與業界共同探討更加前言的解決方案，如SDN等；
2. 騰訊網絡和基礎設施具備海量運營的思路和能力。快速的IDC和網絡資源建設供給能力支撐海量運營的監控系統及NOC窗口；
3. 騰訊網絡架構作爲基礎設施整體解決方案的一部分將更加給力。深入理解業務需求，結合網絡、平臺系統提供綜合整體解決方案；騰訊網絡架構的優化，獲公司級[2011年重大技術突破獎]；
4. 我們在與業界共同努力，積極探索適應互聯網行業新的解決方案。
最後，關於網絡架構發展的一些簡單經驗：
1. 業務佈局與網絡架構要溝通配合。業務的部署要考慮網絡特點，否則需要練就乾坤大挪移。互聯網業務的特點顯著，需要網絡特別關注，例如map/reduce；
2. 網絡架構的步伐和規劃要適當大於業務短期需求。因爲網絡本身龐大而包袱重，要爲可能的海量爆發提前做好準備；
3. 網絡要簡單而優雅，掌握“架構之美”的度。不要追求技術極致，要考慮運維能力。
關於業務對騰訊開放平臺網絡的知曉：
1. 瞭解網絡的真正用途。可靠而高質量地實現、負責業務對話、負責連接”眼球”；
2. 在騰訊雲平臺上的網絡靈活自如。數據中心網絡和承載網絡，架構靈活支持夥伴接入和拓展；
3. 騰訊雲網絡海量支撐能力爲我保駕護航。運營商級別的網絡，優質的運營支撐。
5月16日21:00，兩個小時的騰訊網絡架構分享圓滿結束！
歡迎大家繼續期待5月22日晚舉辦的騰訊大講堂對外講座·第八期《智能應用和雲服務：手機瀏覽器的未來之門》 。更多精彩，盡在騰訊大講堂。
點此下載活動PPT。
架構之美--開放環境下的網絡架構-20120516-MartyMa(1).pptx (9.44 MB, 下載次數: 103, 售價: 1 金錢) 點此觀看活動視頻。
本文來自騰訊大講堂(DJT.QQ.COM)，轉載請註明出處。
