爭議ToR——數據中心架構與佈線(update)

高密度、虛擬化、雲計算等數據中心技術趨勢的演進,以及10GBASE-T相關產品的應用,都深刻地影響了機房基礎設施的變革,以ToR爲代表的新架構設計的出現,更是對數據中心佈線系統提出了新的課題。
 
從綜合佈線系統的角度看,適應ToR等方式的點對點佈線,與綜合佈線國際標準提倡的集中式佈線之間存在很大差別,孰優孰劣也引發了新的爭議。究竟哪種方式更適合數據中心實際需求及發展趨勢?值得從業者關注和思考,更是用戶關心的實際問題。

ToR潮流來襲,衝擊佈線廠商
 
在網絡廠商Force 10近期推出的“開放式雲網絡框架”產品中,特別提到了對ToR架構的支持——“新產品提供更高水平的端口密度、性能以及靈活性……便於數據中心靈活選擇核心與櫃頂(ToR)層的構建方式……”實際上,在思科(Cisco)、博科(Brocade)和H3C等網絡設備廠商的新產品中,你都能看到ToR架構的影子。由於ToR極大地縮減了佈線的使用量,這種架構若逐漸成爲主流,將給佈線廠商帶來較大損失。
 
什麼是ToR、EoR、MoR?
 
ToR的英文全稱爲Top of Rank,意指櫃頂,與列末EoR(End of Row)及列中MoR(Middle of Row)一樣,都是數據中心的一種架構設計方式。
 
傳統的機房架構主要以EoR和MoR方式(兩者差別主要在於網絡機櫃的位置不同)爲主,採取類似的集中式佈線。
 
其中,EoR方式是指服務器機櫃中所有的服務器端口,都通過跳線連接到機櫃上的配線架,再由配線架上的銅纜延伸到網絡機櫃(位於一組機櫃尾部)中的接入交換機上。
 
MoR方式與EoR方式類似,只是將網絡機櫃部署在服務器機櫃的中部,從而在一定程度上減少了從服務器機櫃到網絡機櫃的線纜距離。
 
ToR方式的出現,爲機房架構設計帶來了新的變化:該方式將接入交換機放置在每個服務器機櫃或單元的頂部,機櫃內服務器直接通過短跳線連接到頂部的交換機上,再經由光纖從交換機的上行鏈路端口連至核心交換機。
 
粗看上去,ToR與EoR/MoR兩類方式,只是在接入交換機的位置上發生了變化,但實際上改變了整個機房的網絡結構。僅從設備使用上來說,一方面增加了交換機使用數量,另一方面,綜合佈線系統由從前的集中式佈線變爲了點對點佈線方式,大大縮減了佈線使用量。
 
ToR是不可阻擋的潮流嗎?
 
在網絡設備廠商陣營看來,採用ToR架構設計有諸多好處:降低了網絡結構複雜性;更符合數據中心綠色和節能趨勢;極大地縮短了銅纜的使用距離,簡化了線纜管理;通過增加光纖的使用替代銅纜,減少了網絡擁塞,並可支持不同的I/O連接選項,比如10GbE以太網端口和光纖通道;爲複製機櫃配置提供了便利;可擴展性強,當新增加機櫃和業務服務器時,服務器直接連接到ToR即可……
 
更爲重要的是,分析ToR的誕生背景會發現,隨着用戶數據業務需求的猛增,數據中心機房服務器密度越來越高,虛擬化和雲計算等新技術趨勢日益流行,使得服務器對應的網絡端口大大增加,並且增加了管理的複雜性,另外以太網(LAN)與光纖存儲區域網絡(SAN)的融合也越來越常見,這就必然要求一種新的網絡拓撲結構與之相對應。
 
“從時間點上來看,傳統的數據中心大多數以EoR爲主,而新的數據中心越來越多的採用ToR的方式。”Juniper亞太區數據中心顧問工程師包貴新告訴佈線聯盟網,在雲計算的大潮下,這種分佈式架構的業務擴展性極強,要求的服務器數量也越來越多。例如新的Apache Hadoop 0.23支持6000~10000臺服務器在一個集羣內,海量的服務器數量要求充分利用數據中心機櫃空間的同時,海量的業務數據也需要更快更直接的高性能鏈路把數據傳送到網絡核心。在這樣的趨勢下,顯然ToR更加適用,在業務迅速擴展的壓力下,ToR的方式可以更好的實現網絡的更快速擴展。
 
不過,在美國康普公司中國區技術總監吳健看來,ToR在短期內還不會成爲趨勢。一方面,ToR還沒有大面積的普遍應用,對於置頂交換機的穩定性,管理性,還有待觀察;另一方面,目前所有國際國內標準仍然建議結構化佈線,EoR/MoR仍然是主流。而ToR的長期發展如何,還要取決於網絡設備的成本變化,LAN和SAN設備的發展,雲技術和虛擬技術的發展。
 
對此,羅森伯格亞太電子有限公司高級產品經理孫慧永認爲,ToR形式的產生的背景主要是在PC服務器架構每個機櫃的服務器密度越來越高的情況下發展起來的,高密度機櫃的設計也是數據中心技術發展的方向之一,ToR在今後的數據中心應用中比率將會有一定比例的增長,但不是完全替代EoR與MoR的方式。根據不同的服務器類型,網絡架構以及機房密度等多方面的因素綜合考慮選擇適合自己的佈線方案。

 

ToR未必節省,可能增加成本

在各種宣傳資料中,ToR方式得到推廣的一個重要理由,是節省了大量的佈線成本和製冷成本,簡化結構,使得機房更加綠色節能。但深入研究會發現,佈線成本減少的代價是網絡接入設備成本的增加和端口冗餘,並且縮減也只是水平銅纜佈線的部分,ToR對於光纖的要求比傳統佈線方式更多。在初期建設成本之外,後期的管理和擴展問題有可能變得更加複雜。

ToR可能造成端口浪費

一直以來,ToR被詬病最多的就是交換機端口冗餘問題。由於供電和散熱等限制,若採用ToR方式,也就是在每個機櫃頂端配置一個交換機連接本機櫃的服務器,就會使得每個交換機有很多的端口是用不上的。

TIA TR-42 通信佈線系統工程委員會副主席Valerie Maguire曾介紹過一個真實案例,某用戶共有336個服務器機櫃,每個機櫃配置2臺48端口的ToR交換機和40臺服務器,這就使得每個交換機有8個端口是空閒的,整個網絡就有112整臺交換機端口數量都是空閒的。這些超額購買的設備和3年維護的成本總計將達到112萬美金。如果考慮機櫃受供電能力約束的真實情況,每個機櫃能放置的服務器數量遠小於40臺,則浪費的總額將更高。而若採用集中式佈線只需花費 27.5萬美金,通過在佈線上的投資就能換來極大的交換機等設備的節約。

“若全部48個交換機端口都被使用時,則發生了更大的問題。”美國西蒙公司大中國區技術部經理陳宇通進一步分析說,哪怕再添加一臺新的服務器,也需要再購買一臺48端口的交換機。即使在空閒狀態,這些超額配置的端口也會消耗電能,額外的交換機和端口也增加了更多的維護和保修費用。

另外,隨着電子設備的更新擴充,結構化佈線系統可能需要添加回到數據中心,以支持未來的設備選擇,這樣就完全否定了初期點對點的節省效果。而由於在初期對走線通道、機櫃空間和信道未作規劃,以後再添加結構化佈線系統將花費更多。

ToR增加管理難度

儘管ToR看上去簡化了接入層的結構,但實際上並未降低管理難度,帶來的各種複雜後續問題也並未做過深入探討。

吳健向佈線聯盟網表示,儘管ToR的出現,大大減少了佈線系統的投資,尤其減少了水平銅纜的部署,但設備成本將大大增加。另外容易被忽視的是,ToR將網絡風險從無源設備轉移到有源設備,管理風險將增大。

而在包貴新看來,ToR方式中不足之處在於,每個機櫃都要光纖到網絡核心,佈線比較複雜,同時所有ToR的上連光纖都連接到網絡核心,對網絡核心處的佈線壓力也會比較突出。如何解決每個機櫃到核心機櫃的佈線複雜性,包括距離等因素;當機櫃數量比較多的情況下,如何解決核心機櫃的佈線複雜性,包括設計合理的快速標識及監控排錯的方案;服務器多網卡的情況下,如何部署ToR(服務器的多個網卡連接在一個機櫃的多個ToR還是服務器的多塊網卡連接到不同機櫃的ToR);如何用最簡單的方式快速監測到大量光纖鏈路的狀態,降低運維管理的難度,這些都是需要進一步考慮的問題。

 

ToR不是“狼來了”,合理規劃更重要

在實際的數據中心建設中,有很多種架構方式,ToR與EoR/MoR只是比較有代表性的兩類架構,各有自身的優勢與不足。面對來勢洶洶的ToR以及點對點佈線方式,用戶還需要正確對待,根據實際應用與設備類型的不同來作出選擇。

正確認識ToR

實際上,ToR點對點佈線與傳統的集中式佈線是並存和互補的關係,並非取代或演進。

在孫慧永看來,ToR的發展某種程度上加快了數據中心佈線光進銅退的步伐。ToR的方式將使得傳統數據中心佈線中的水平銅纜佈線不復存在,大量採用短米數的銅纜跳線來取代,而後續從1000M網絡上升到10G網絡後,服務器端口與接入層交換設備端口部分將採用光纖進行傳輸,導致銅產品的應用有一定比例減少,而使主幹佈線中的光纖數量有較大比例的增加。而在規模較大的數據中心大量採用預端接光纜,對預端接應用今後將會有較明顯比例的增長。

包貴新則認爲,無論是ToR/EoR還是MoR的設計,體現的不僅僅是接入交換機位置上的不同,關鍵是要根據用戶數據中心承載的業務類型,根據不同用戶業務特點,以及不同用戶數據中心的特定條件,包括投資和管理成本等進行綜合考量後而決定採用哪種方式。當然,在業務數據量不特別大,對擴展性要求也不是特別高的傳統用戶的數據中心中,EoR的方式仍然會受到很大程度上的青睞。而在採用分佈式架構業務爲代表的、對擴展性要求很高的用戶數據中心,採用ToR將會是一種趨勢。

用戶理性選擇,合理規劃

通過以上的分析,ToR與傳統集中式佈線方式可謂各有千秋。那麼,對於用戶來說,在具體應用時最應該關注哪些因素,進而在ToR的爭議聲中作出理性選擇呢?

“ToR實際上對機房的規劃提出了更高的要求。”以色列RIT公司全國技術經理王爲表示,用戶須得考慮自己對於數據中心的前期規劃是否已經十分前瞻了,尤其是銅纜端口(交換機、配線架等),否則反而會給自己帶來不便。

陳宇通也認爲,對每一種技術的評估應建立在互操作性、應用效益、未來可擴展性、維護成本和每端口總傳輸成本的基礎上。這種分析應包括跳線、交換機端口和服務器或存儲設備的網絡接口卡的成本。而新的國際標準則建議在數據中心中安裝6A類/EA級佈線來支持10GBASE-T。通過採用支持10GBASE-T的集中式佈線設計,可以避免端口超配及昂貴的移動,增加和變化。

在吳健看來,用戶在採用某種設計方法時,應該考慮以下幾個方面:初期投資,及日常維護成本;設備接口的發展變化;LAN和SAN是否需要融合;線纜的管理;日常MAC維護的方便性;對ToR交換機管理。

孫慧永的建議是,對於機櫃密度不高的應用場合,或採用小型機與共享存儲的數據中心應用,可能傳統的集中式佈線方式更加適合。對於採用機架式服務器高密度部署的方式或刀片式服務器類型的應用,採用ToR的方式可能更加便利。具體應用要根據實際業務應用要求,設備情況,網絡架構,後期管理等綜合分析再決定哪種佈線方式更適合自已的需要。

這還是要基於幾種方式的具體特點:如EoR的方式,將接入層交換機集中安裝在HDA區域,有利於提高交換機的端口利用率,從這方面看,將會使數據中心設備平均端口能耗降低,反而更符合綠色節能的趨勢,同時管理也比較便利。但EoR的方式水平電纜的均長可能相對更長一些,服務器機櫃上方的線纜將朝HDA同一個方向彙集,相對橋架壓力較大。而採用MoR的方式同樣也具有提高交換機的端口種用率的優點,但由於HDA設在中間,相對管理有所不便。而ToR的方式將HDA的接入交換設備分散到了每個服務器機櫃,每臺機櫃的服務器端口數量通常不會與交換機端口相符合,會造成網絡設備端口資源的部分浪費,但相對佈線來說結構更爲簡單,水平永久鏈路將不再需要,取而代之的是銅纜跳線直接解決,光纖主幹數量會有適當的增加。

結語

在綜合佈線工作組(CTEAM)權威發佈的《2010年中國綜合佈線市場發展報告》中,可以很容易地看到數據中心對佈線市場、技術、產品的全面影響,以及光進銅退的長期趨勢。毫無疑問,在此過程中,傳統的佈線方式也必將受到挑戰,也只有不斷髮展,才能推動佈線行業整體向前。但具體到某一種架構設計或佈線方式,用戶還是要擦亮眼睛,不要簡單停留在廠商宣傳和一面之詞上,還要根據自身實際情況,多方參考對比,深入研究細節,最終規劃出適合自己的最優解決方案。針對這一問題,佈線聯盟網還將繼續跟蹤,敬請關注。

 

 

 

更多精彩內容,請見佈線工作組官網:http://www.cablingteam.com/2011/0922/1035.html

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章