在淘寶，爲了保障近四億淘寶用戶的購物體驗，該公司已在全網部署了103個用於加速的CDN節點，單節點服務能力大於10Gbps,CDN Web Cache服務器數量超過4000臺。
AD： WOT2014課程推薦：實戰MSA：用開源軟件搭建微服務系統
“好，時間到，開搶！”坐在電腦前早已等待多時的宋蘭（化名）一看時間已到2011年11月11日零時，便迫不及待地投身於淘寶網一年一度的大型網購促銷活動——“淘寶雙11”購物狂歡節。
宋蘭不知道，就在11日零點過後的這一分鐘內，全國有342萬人和她一起涌入淘寶網。當然，她更不知道，此時此刻，在淘寶公司杭州總部的一間辦公室裏，淘寶技術部核心系統負責人兼高級研究員章文嵩和淘寶的一羣技術高手們，正在黑板上紛紛寫***，看誰能最準確地猜中“淘寶雙11”CDN流量峯值和全天的交易總額。
不過，看似輕鬆的氛圍下，章文嵩和他的同事們內心多少有些忐忑：本次網購盛會對淘寶的各個服務系統而言都是一次巨大的考驗，其中最大的考驗則是對章文嵩所負責的，剛剛上線的，基於英特爾凌動（ATOM）處理器定製的低功耗服務器而新搭建的CDN系統。因爲，雖然已有測試證明該CDN系統可以應付超大流量，但那畢竟是測試結果，真實情況會怎樣，誰都沒底。
淘寶技術部核心系統負責人兼高級研究員 章文嵩
24小時之後，淘寶網和淘寶商城高達52億的交易額讓淘寶笑了，而章文嵩的心也終於落定。
始自節能之需
對互聯網相關技術比較熟悉的人大概都瞭解CDN。CDN全稱Content Delivery Network，即內容分發網絡。其目的是通過在現有的Internet中增加一層新的網絡架構，將網站的內容發佈到最接近用戶的網絡“邊緣”，使用戶可以就近取得所需的內容，提高用戶訪問網站的響應速度。
在淘寶，章文嵩表示，爲了保障近四億淘寶用戶的購物體驗，該公司已在全網部署了103個用於加速的CDN節點，單節點服務能力大於10Gbps,CDN Web Cache服務器數量超過4000臺。
當然，支撐整個淘寶日常運營的遠不止這幾千臺CDN web cache服務器。這些服務器每天的耗電量非常驚人，在淘寶網運營成本中佔據了相當比重並逐年上升。因此，節約服務器用電量，已經成爲不得不考慮的問題。而最直接的方法，就是在滿足性能要求的前提下，採用比傳統服務器省電的低功耗服務器。
低功耗服務器之所以比傳統服務器的省電，主要在於採用了低功耗CPU。低功耗CPU在帶來低功耗的同時，也損失了處理速度。因此，消耗CPU資源少的應用是低功耗服務器首要應用場景。而從淘寶整個服務器體系來看，滿足這一要求的恰好是CDN Web Cache服務器，最終，該公司決定在CDN節點嘗試使用定製低功耗服務器來替換傳統服務器，並於2009年底正式啓動綠色低功耗服務器定製項目。
“不只是攢個機器”
“定製低功耗服務器，表面上看是攢個機器，不過實際上並非如此簡單。”章文嵩告訴記者。
市場上傳統的低功耗處理器，其節省功耗的原理，是在原有高性能處理器的基礎上，通過控制處理器在閒時的主頻和耗電，同時簡化亂序處理的邏輯模塊，來減少不必要的消耗。但該方式受限於原有的高性能架構，整體功耗降低效果並不明顯，特別是在IO密集型的業務上。而淘寶網用於靜態內容加速的CDN Web Cache服務器，主要功能正是對靜態的網頁和圖片進行讀寫操作，屬於IO密集型業務。
“因此，針對IO密集型業務，我們需要尋找區別於以往傳統的、更低功耗的處理器和服務器方案。”章文嵩說。
項目啓動之初，淘寶選擇某知名芯片平臺供應商作爲合作伙伴，並於2010年6月製作出原型機，但遺憾的是，該原型機未能通過線上測試。因此，2010年8月，淘寶選擇在整機解決方案方面比較有經驗的美國超微公司和英特爾。最終，在三方的努力下，基於凌動處理器D525的低功耗服務器定製成功，並於2011年6月開始在淘寶實施規模化部署。
淘寶產品經理 何燕鋒
在杭州華數機房，負責該服務器定製的產品經理何燕鋒帶領記者實地參觀了一處由該低功耗服務器所搭建的CDN節點機羣。其中，一個2U空間裏能放8臺凌動低功耗服務器（8臺服務器共享一個機箱），單臺服務器功耗僅25W，也就是說，這8臺低功耗服務器的總體功耗也才200瓦。這200瓦是什麼概念呢？何燕鋒指着該CDN節點機羣中一臺服務器，告訴我們說，那就是市面上的普通服務器，主要負責調度功能，其功耗爲150W，佔1U空間。兩相對比，低功耗服務器的低功耗高密度的優勢十分明顯。
值得一提的是，章文嵩和他的同事發現，淘寶CDN緩存對象具有的特徵是：18KB以下的對象數量佔總數量的80%，而存儲量只有不到40%；同時，80%被訪問對象所佔用的存儲空間不到20%。這意味着“熱數據”（訪問頻次高的內容）佔的空間其實很小，而“冷數據”（訪問頻次低的內容）所需存儲量很大。因此，淘寶特意爲該低功耗服務器引入分層存儲機制，所以單臺低功耗服務器的硬盤其實是由一塊80GB的SSD盤和兩塊500GB的SATA盤組成。這樣，“熱數據”存放在SSD盤上，“冷數據”就存放在SATA盤上，從而兼顧速度、容量與成本。而分層存儲調度軟件則由淘寶獨立開發。
2011年2月，該凌動低功耗服務器投入量產。隨即，淘寶人又緊鑼密鼓地開始了系統優化工作。章文嵩告訴記者，在沒有優化之前，單臺低功耗服務器的QPS（每秒查詢率）數大約在900左右，離他們既定的目標（1000QPS）還差一點。然而，當他們將硬盤訪問模式改爲ACHI/RAID之後，QPS立刻躍升至1300；再通過優化IO、網絡、SMP affinity等工作，QPS數到達1700，大大超過原來的預期。
“我們正在重寫一個輕量級Cache軟件，希望能將OPS數提升到1900。” 章文嵩說。
據悉，目前淘寶一共部署了十多個低功耗CDN節點機羣，共部署了約800臺凌動低功耗服務器。大部分凌動節點都服務到了上聯鏈路的限制值——10Gbps，此時的單臺低功耗服務器的服務QPS數在1200以上，而CPU負載不超過70%，整體的I/O也不過50%左右，且整體緩存服務的響應時間都在20毫秒以下。
“本次淘寶‘雙11’購物狂歡節，我們CDN承受了全網近90%以上的流量，這一天的CDN帶寬峯值到達800多Gbps，可以說真正通過了考驗。”章文嵩說。之後的淘寶“雙12”帶來了更大的流量“洪峯”，淘寶CDN亦安然承受。
此外，何燕鋒亦透露，他們還拿到了英特爾SandyBridge（15W）低功耗處理器（英特爾在微服務器上的主打處理器之一）樣片，並在CDN緩存應用上進行了性能測試。
“SandyBrige（15W）低功耗處理器採用雙核架構，主頻只有1.2GHz，但L3的緩存有3MB。如果單看主頻的話，很難想象這樣的處理器能有多麼卓越的性能，測試結果卻出乎意外，單臺服務器的性能能夠到4500QPS, 幾乎是我們現在這款低功耗服務器的3倍，而功耗則相差不到2W。”何燕鋒說。
因此，只要該款處理器價格合適，淘寶將在下一代低功耗服務器中採用SandyBrige（15W）處理器。
心繫環保、踐行開源
“我們定製服務器跟傳統的定製不一樣。傳統的定製是一種買斷形式，例如，我向你（廠家）定製了服務器，你不能賣給第三方。而我們淘寶是一種開源的心態，我們覺得儘管這款低功耗服務器是針對淘寶的CDN需求而定製，但低功耗服務器環保節能，同時CDN系統是整個互聯網服務的基礎，所以淘寶將它開源出去並鼓勵廠家將這款產品賣給別人，一方面促進整個互聯網“綠色”服務器產業的發展，另外一方面也彰顯淘寶的開發策略。”何燕峯告訴記者。
淘寶部署在杭州華數機房的CDN節點
需要指出的是，淘寶低功耗服務器定製項目在業界是相當超前的，其價值不言而喻。另一方面，雖然目前國內外有不少研究機構、企業正在研發低功耗服務器，但象淘寶這樣將低功耗服務器項目（設計規格和應用數據）無私開源的，用章文嵩的話來說：“全世界也是第一家 ”。
並且，淘寶不只是簡單地將其低功耗服務器定製項目開源，而是以此爲出發點，聯合英特爾、超微等廠商，共同發起了“開源綠色計算”項目（http://www.greencompute.org/）。章文嵩強調，該項目的目標是推動互聯網整體硬件基礎設施（包括服務器、網絡設備、IDC機房、機架和電源等）的節能環保。
目前在開源綠色計算網站上還只有凌動低功耗服務器這一款定製化的“綠色”產品，章文嵩殷切地希望更多的同行能加入進來，共同推動“綠色計算”產業的發展。
【採訪手記】
本次淘寶之行，不僅讓人切身體會國內互聯網用戶IT技術實力之強，更是觸發記者心中兩大感慨：
一是淘寶、騰訊等國內互聯網用戶已經漸漸具備左右IT廠商、影響IT產業的力量。例如，章文嵩透露，英特爾過去沒有MicroServer（微型服務器）戰略，其Atom處理器原本也並非面向服務器，正是淘寶綠色低功耗服務器定製項目直接影響、推進了英特爾MicroServer戰略。目前，已有消息傳出，英特爾計劃於2012年第二季度推出用於網絡附加存儲和入門級服務器的新的Atom處理器產品線。
二是低功耗服務器前途光明。淘寶的實踐已經證明，那些不需要太多CPU計算的I/O類型應用，如CDN緩存服務、網站存儲備份服務、企業日誌系統等，採用低功耗服務器能收穫更好的性能/功耗之比和性價比。因此，低功耗服務器必將作爲服務器類別中一個新的分支而存在。
與此同時，一場圍繞低功耗服務器的戰爭也在蓄勢待發。英特爾有MicroServer戰略，AMD也有相關計劃，而移動芯片領域的“大佬”ARM正一步步試圖通過低功耗服務器來切入服務器市場更是衆人皆知的事實。這場戰爭誰勝誰負，業界有不同的觀點。不過，筆者以爲，ARM芯片軟件生態環境薄弱始終是短期內難以逾越的障礙。例如，在淘寶綠色低功耗服務器定製項目中，淘寶最初考慮過ARM芯片，但顧慮到軟件遷移成本比較大才最終作罷。而英特爾憑藉強大的研發實力和市場推廣能力，以及與上下游廠商、用戶之間良好深厚的合作關係，必能佔據有利位置。