優酷網視頻存儲架構

視頻分享網站總會面對這樣兩個問題:視頻資源能否吸引網民以及視頻瀏覽是否順暢?中國互聯網協會互聯網數據中心發佈的《2008上半年視頻網站數據》顯 示,2008年上半年,優酷網月度總訪問時長突破1.1億小時,通過與全行業的瀏覽時長比對,優酷網佔據的時長份額已超過50%。Gomez中國網站用戶 體驗排行榜顯示,2008 年7月1日到2008年7月31日,優酷網的平均響應時間是2.78秒。

1.1億小時與2.78秒,正是這兩個長短對比鮮明的數據,充分體現出優酷網“快者爲王”的經營理念。近日,記者獨家採訪了優酷網CTO姚鍵,試圖從技術 方面揭密優酷網的快字訣。

一切爲了性能

“2007年,優酷網的用戶訪問量提升了25倍。”姚鍵說起這個增長仍顯激動,“硬件設備同樣有相應的增加。”據記者瞭解,目前優酷網有近千萬個視頻資 源,以每段視頻20MB來計算,大約佔據200TB的存儲空間。優酷網採用服務器直連式存儲(DAS)架構,即一臺服務器只連接一臺存儲陣列。姚鍵透露, 優酷網目前有數千臺服務器。

優酷網的服務器主要來自戴爾,還有一部分來自惠普。優酷網引進的戴爾服務器主要以 PowerEdge 1950與PowerEdge 860爲主,存儲陣列以戴爾MD1000爲主。如上圖所示,優酷網將PowerEdge 1950作爲Web服務器和流媒體服務器,分別服務於頁面系統與視頻系統。另外,還有一些服務器作爲轉碼服務器,將用戶上傳的視頻進行解碼和再編碼,最後 做成統一的FLV格式。在存儲層面,優酷網主要利用戴爾MD1000+ PowerEdge 860的組合,兩者以DAS的方式相連,作爲一個存儲單元。

在回答記者提出的爲何沒使用網絡存儲,如SAN等架構時,姚鍵表示:“用戶訪問量持續成倍增長,對系統的性能、成本和可擴展性都造成了很大壓力。採用 DAS存儲可以更好地滿足對性能的需要。如果採用SAN存儲,不僅成本增加會十分明顯,而且在系統變得日益龐大時,性能也會出現瓶頸。”

“爲了提高用戶的訪問速度,我們想了很多辦法。”姚鍵表示,“我們甚至都不用RAID。不採用RAID技術,可以節省很大的存儲空間,同時減少成本,而且 能夠提供更好的I/O性能。”據悉,目前優酷網的存儲系統利用率都在90%以上。不用 RAID是否會給視頻數據的安全帶來不良後果?姚鍵表示:“由於優酷網採用了自建的內容分發網絡(CDN)技術,所有視頻在不同的城市都有副本,所以不用 擔心數據的安全性。即使某地的一段視頻發生了損壞,用戶也可由實時的調度系統引導至其他CDN站點進行視頻瀏覽。在優酷網的內容分發網絡中,局部失效不影 響整體訪問,實際上比存儲網絡的安全性更高。”

更大範圍內的分級存儲

自建的調度系統是優酷網實現快速訪問體驗的核心。優酷網將所有的服務器和存儲設備分佈在全國20多個CDN站點中,方便當地用戶就近訪問,以獲得更快的視 頻體驗。

不像其他應用可提前計劃,互聯網訪問具有很大的不可預知性,很難預測什麼視頻在哪段時間的訪問會突然增加。因此,實時有效的調度系統就顯得非常關鍵。在網 民訪問優酷網的視頻時,調度系統會根據該視頻原本發佈所在的位置、用戶IP地址等信息安排網民就近訪問,並會參考該站點的設備是否出現損壞、該地區是否是 訪問熱點等因素,以便使用戶的瀏覽速度達到最快。正是有了高效的調度系統,優酷網纔可以將 90%以上的帶寬都提供給用戶,而其他CDN系統提供給用戶的帶寬通常只有70%~80%。

“優酷網所有的視頻在一週之內會被用戶訪問一遍。”姚鍵說,“因此,優酷網的數據區分在線、離線的意義不大,更不用像其他行業那樣要把部分歷史數據進行歸 檔處理。”事實上,優酷網對視頻信息也會區別對待,只是區分的標準在於訪問熱度。訪問頻率高的視頻會根據訪問用戶地址在各CDN站點間重新分佈,並且會存 放在SAS硬盤上,而冷門視頻則會存放在速率稍慢的SATA硬盤上。

用戶連線

優酷網CTO姚鍵

技術是互聯網的生命。由於設備急速增加,我們非常在意系統的成本、性能與可擴展性。我們沒有使用最先進、最貴的系統,就像Google使用自己的文件系統 一樣,不在乎貴不貴,而在乎是否合理運用。每臺服務器或存儲系統配多少塊硬盤,文件塊的大小爲多少,我們都會做詳細測試,以實現更佳的性能配置。

大小: 115.19 K 尺寸: 500 x 258 瀏覽: 74 次 點擊打開新窗口瀏覽全圖

 

快速崛起的視頻網站

根據知名調研機構AC尼爾森公司的數據:優酷網日視頻播放量(VV)在2007年12月就突破1億,每 日獨立訪問用戶數量(UV)超過1200萬。最新的數據是優酷網的VV已經達到1.5億,UV超過2500萬。“在一定的週期內,硬件平臺的性能必將會發 揮到極限,但此時用戶的需求仍持續性地高速增長,這就需要最新技術和最新產品要跟得上甚至超過我們的步伐。我們每年都會經歷幾次‘向硬件要性能’的階 段。” 優酷網採購經理趙輝先表示。

“我們重視新技術,例如對SSD(固態硬盤)就很渴望。我們非常看重SSD的I/O能力,其隨即讀寫速 度非常高,這是現有所有硬盤都達不到的。我們渴望這種新的硬盤能迅速應用到新的服務器中。” 趙輝說。

目前優酷網採用的是基於Flash的視頻點播技術,這與P2P直播/點播有所不同,前者所有流量都來自 服務器。因此優酷網相比其他網站,更需要大量存儲和流媒體服務器。
 
基於此,優酷網對硬件設備供應商的要求主要有以下幾點:

第一, 供貨期短。硬件設備的供貨是否及時,對發展迅猛的互聯網企業而言生死攸關。用趙輝先生的話說,“我們要求供應商能迅速供貨,而不是坐等。在互聯網行業,等 待往往就意味着死亡。”供貨期儘可能地短,成爲其選擇供貨商的首要因素。

第二, 產品線完備。一方面,互聯網行業是對新技術有着強烈需要的行業,渴望最新的技術能迅速應用到成熟的硬件產品中;另一方面,“適合的就是最好的”,考慮到成 本等因素,優酷網還需要一些雖然不是“最好的”,卻是最“適合的”產品,這就要求硬件設備供應商的產品線齊全,用趙先生的話說就是,“我們要的設備,供應 商都要有。”

第三, 由於運營成本高,性價比也是優酷網需要考慮的重點。最後,由於優酷網的服務器分佈在全國各地,遠程管理與7X24小時現場服務等優質的技術支持與服務也是 優酷網必需的。

服務器應用

目前,優酷網主要採用dell PowerEdge 1950、PowerEdge 860,存儲陣列以dell MD1000爲主。這些設備的主要配置如下:

PE1950採用英特爾至強5310處理器,4G內存,兩塊300G SAS硬盤。PE860採用英特爾至強3060處理器,4G內存,一塊80G SATA硬盤。MD1000存儲陣列則裝載有15塊750G SATA硬盤。

在體系結構上,優酷網採用分佈式的結構,服務器和存儲設備分佈在全國各地,用戶就近訪問,獲得最快的視 頻體驗。

優酷網將PE1950作爲Web服務器和流媒體服務器,分別服務於頁面系統與視頻系統。頁面系統用以展 示用戶信息、積分、留言及視頻的截圖、排名、展示等,該系統所用的服務器數量只佔20%左右,80%的服務器都是用於視頻系統的流媒體服務器,它們通過負 載均衡的方式爲用戶提供流媒體服務。

優酷網視頻系統的加速機制較複雜,簡單而言,它通過多種方式保證分佈在全國各地的用戶進行就近訪問—— 用戶點擊視頻請求後,優酷網將根據用戶所處地區位置,將離用戶最近、服務狀況最好的視頻服務器地址傳送給用戶,從而保證用戶可以得到快速的視頻體驗。另 外,還有一些服務器作爲轉碼服務器——由於用戶上傳的視頻格式很不統一,大小也不一樣,就需要轉碼服務器首先進行解碼,解碼後再編碼,最後做成flash 文件,即統一的Flv格式。轉碼服務器在做完這些工作後,進行分發,存儲,最後再通過流媒體服務器將視頻傳送給用戶。

在存儲層方面,與服務器層面的“就近訪問”相對應,優酷網的存儲則是採用“分佈式存儲”,即利用 “MD1000+PE860”的組合,將視頻數據都存儲在服務器所處的全國各大城市。MD1000與PE860以DAS(直連存儲)的方式相連,作爲一個 存儲單元,每個存儲單元之間各自爲陣,不存在關聯——一臺PE860服務器只連接一臺MD1000存儲器。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章