淺談計算機存儲系統發展歷史與趨勢

計算機存儲系統的核心是存儲器,存儲器是計算機中必不可少、用來存儲程序和數據的記憶設備。

計算機的發展從單片機時代開始,歷經客戶服務器時代和互聯網時代之後,現在正逐步走向網格時代。作爲計算機系統中不可缺少的組成部分,存儲系統一直伴隨着計算機系統的整體發展而發展,並已成爲計算機系統中發展最活躍的領域之一。許多有別於傳統存儲系統的新趨勢日益顯現,實驗性產品也正從理論研究階段逐步走向產品化實踐。

一、發展歷史

計算機的外部存儲系統如果從1956年IBM製造出第一塊硬盤算起,發展至今已經有半個多世紀了。在這半個多世紀裏,存儲介質和存儲系統都取得了很大的發展和進步。

早期的數據存儲一般以磁盤陣列等設備爲外設,圍繞服務器通過直連的方式進行存儲。而近年來,隨着網絡技術的發展,服務器的數據讀取範圍也得到了很大拓展,逐漸實現了現在的網絡存儲。相較於傳統存儲來說,網絡存儲的優勢更加突出,其不但安裝便捷、成本低廉,並且還能夠大規模的拓展存儲設備,從而有效滿足了海量數據存儲對存儲空間的需求。不過網絡存儲對網絡資源的消耗極大,這是一項難題,爲此,後來又逐漸出現了SAN存儲架構。

1.傳統存儲系統

目前傳統存儲系統主要的3種架構,包括DAS、NAS和SAN。

(1)DAS(Direct-AttachedStorage,直連式存儲)

顧名思義,這是一種通過總線適配器直接將硬盤等存儲介質連接到主機上的存儲方式,在存儲設備和主機之間通常沒有任何網絡設備的參與。可以說DAS是最原始、最基本的存儲架構方式,在個人電腦、服務器上也最爲常見。DAS的優勢在於架構簡單、成本低廉、讀寫效率高等;缺點是容量有限、難於共享,從而容易形成“信息孤島”。

(2)NAS(Network-AttachedStorage,網絡存儲系統)

NAS是一種提供文件級別訪問接口的網絡存儲系統,通常採用NFS、SMB/CIFS等網絡文件共享協議進行文件存取。NAS支持多客戶端同時訪問,爲服務器提供了大容量的集中式存儲,從而也方便了服務期間的數據共享。

(3)SAN(StorageAreaNetwork,存儲區域網絡)

通過光纖交換機等高速網絡設備在服務器和磁盤陣列等存儲設備間搭設專門的存儲網絡,從而提供高性能的存儲系統。

SAN與NAS的區別,在於其提供塊(Block)級別的訪問接口,一般並不同時提供一個文件系統。通常情況下,服務器需要通過SCSI等訪問協議將SAN存儲映射爲本地磁盤、在其上創建文件系統後進行使用。目前主流的企業級NAS或SAN存儲產品一般都可以提供TB級的存儲容量,高端的存儲產品也可以提供高達幾個PB的存儲容量。

2.分佈式存儲系統

大數據導致了數據量的爆發式增長,傳統的集中式存儲(如NAS或SAN)在容量和性能上都無法較好地滿足大數據的需求。因此,具有優秀的可擴展能力的分佈式存儲成爲大數據存儲的主流架構方式。分佈式存儲多采用普通的硬件設備作爲基礎設施,因此,單位容量的存儲成本也得到大大降低。另外,分佈式存儲在性能、維護性和容災性等方面也具有不同程度的優勢。

分佈式存儲系統需要解決的關鍵技術問題包括諸如可擴展性、數據冗餘、數據一致性、全局命名空間緩存等,從架構上來講,大體上可以將分佈式存儲分爲C/S(Client Server)架構和P2P(Peer-to-Peer)架構兩種。當然,也有一些分佈式存儲中會同時存在這兩種架構方式。

分佈式存儲面臨的另外一個共同問題,就是如何組織和管理成員結點,以及如何建立數據與結點之間的映射關係。成員結點的動態增加或者離開,在分佈式系統中基本上可以算是一種常態。

EricBrewer於2000年提出的分佈式系統設計的CAP理論指出,一個分佈式系統不可能同時保證一致性、可用性和分區容忍性(Partitiontolerance)這3個要素。因此,任何一個分佈式存儲系統也只能根據其具體的業務特徵和具體需求,最大地優化其中的兩個要素。當然,除了一致性、可用性和分區容忍性這3個維度,一個分佈式存儲系統往往會根據具體業務的不同,在特性設計上有不同的取捨,比如,是否需要緩存模塊、是否支持通用的文件系統接口等。

3.雲存儲

雲存儲是由第三方運營商提供的在線存儲系統,比如面向個人用戶的在線網盤和麪向企業的文件、塊或對象存儲系統等。雲存儲的運營商負責數據中心的部署、運營和維護等工作,將數據存儲包裝成爲服務的形式提供給客戶。雲存儲作爲雲計算的延伸和重要組件之一,提供了“按需分配、按量計費”的數據存儲服務。因此,雲存儲的用戶不需要搭建自己的數據中心和基礎架構,也不需要關心底層存儲系統的管理和維護等工作,並可以根據其業務需求動態地擴大或減小其對存儲容量的需求。

 

二、研究熱點

1.雲存儲

雲存儲通過運營商來集中、統一地部署和管理存儲系統,降低了數據存儲的成本,從而也降低了大數據行業的准入門檻,爲中小型企業進軍大數據行業提供了可能性。比如,著名的在線文件存儲服務提供商Dropbox,就是基於AWS(AmazonWeb Services)提供的在線存儲系統S3創立起來的。在雲存儲興起之前,創辦類似於Dropbox這樣的初創公司幾乎不太可能。

雲存儲背後使用的存儲系統其實多采用分佈式架構,而云存儲因其更多新的應用場景,在設計上也遇到了新的問題和需求。比如,雲存儲在管理系統和訪問接口上大都需要解決如何支持多租戶的訪問方式,而多租戶環境下就無可避免地要解決諸如安全、性能隔離等一系列問題。另外,雲存儲和雲計算一樣,都需要解決的一個共同難題就是關於信任(Trust)的問題——如何從技術上保證企業的業務數據放在第三方存儲服務提供平臺上的隱私和安全,的確是一個必須解決的技術挑戰。

將存儲作爲服務的形式提供給用戶,雲存儲在訪問接口上一般都會秉承簡潔易用的特性。比如,亞馬遜的S3存儲通過標準的HTTP協議、簡單的REST接口進行存取數據,用戶分別通過Get、Put、Delete等HTTP方法進行數據塊的獲取、存放和刪除等操作。出於操作簡便方面的考慮,亞馬遜S3服務並不提供修改或者重命名等操作;同時,亞馬遜S3服務也並不提供複雜的數據目錄結構而僅僅提供非常簡單的層級關係;用戶可以創建一個自己的數據桶(bucket),而所有的數據則直接存儲在這個bucket中。另外,雲存儲還要解決用戶分享的問題。亞馬遜S3存儲中的數據直接通過唯一的URL進行訪問和標識,因此,只要其他用戶經過授權便可以通過數據的URL進行訪問。

存儲虛擬化是雲存儲的一個重要技術基礎,是通過抽象和封裝底層存儲系統的物理特性,將多個互相隔離的存儲系統統一化爲一個抽象的資源池的技術。通過存儲虛擬化技術,雲存儲可以實現很多新的特性。比如,用戶數據在邏輯上的隔離、存儲空間的精簡配置等。

2.智能化

存儲網絡化的發展,同樣伴隨着網絡智能化的發展,其結果就是存儲系統能處理更多的事情,而不像以前僅僅是存放數據的物理實體。存儲系統智能化具體體現在:!存儲系統分擔了原來應用系統承擔的部分功能。比如與某公司數據庫合作,可由該公司提供一些信息,由存儲設備幫助它做校驗,使數據正確地存放到磁盤裏,避免錯誤的出現,充分利用磁盤陣列冗餘的計算資源;"隨着磁盤陣列智能化的提高,以前很多服務器上的功能也將部分轉移到存儲網絡和存儲設備上,而服務器只集中於應用系統,數據安全、備份等大部分工作都可以放在磁盤陣列和與服務器連接的存儲網絡上。比如,對不同格式文件的交互訪問中,原來都需要服務器文件系統進行特殊處理後轉化爲雙方均可識別的類型才能訪問,而現在某些存儲系統已經可以在存儲微碼級對不同文件類型進行轉化,使得對不同文件的訪問對用戶透明。需要指出的是,存儲智能化的趨勢中,大家似乎更傾向於把這部分智能化功能的實現放在存儲網絡上,而不是放在存儲設備體中。

3.標準化

在傳統存儲系統中,除了廠商爲工程師提供存儲系統安裝、配置和維護等必要的簡單管理系統之外,並沒有太多存儲的專門管理系統。隨着存儲系統規模和功能的拓展以及複雜度的提高,存儲管理已經逐步發展成爲一個相對獨立的存儲子系統。在傳統存儲系統中,各大存儲廠商分別爲各自存儲系統設計的存儲管理企業標準大多互不兼容,在一定程度上嚴重阻礙了存儲系統管理的進一步規範化。

三、發展趨勢

隨着人們對存儲技術要求的提高,存儲技術也取得了相應的發展:存儲系統的升級和自動化程度也在不斷提高(即“軟件決定存儲”,“Software defined Storage”)。IDC預測,未來幾年,計算中心的存儲技術將出現以下六大發展趨勢:

存儲系統的空間將進一步擴大,通過存儲虛擬化手段可以實現存儲媒介的統一管理,並避免使用筒倉(Silo)。

目前,計算中心服務器的虛擬化已經有了長足的發展――存儲虛擬化是雲存儲的先行準備階段。隨着企業對存儲需求的不斷增大,存儲虛擬化得以快速普及。

雲存儲發展的越來越成熟,雲服務供應商也對這方面表現出濃厚的興趣。

運營成本(OPEX)代替投資成本(CAPEX)已經成爲不爭的事實。雲交付模式(Cloud-Delivery-Modell)具有非常大的靈活性和可伸縮性,可以靈活調整工作量。不過儘管如此,雲存儲在普及的過程中依然會遇到各種各樣的障礙,IT服務供應商必須做好思想準備。

價格不菲的閃存技術的主要優勢在於其IOPS(每秒輸入/輸出操作)性能良好。

隨着閃存技術價格的下降,企業計算中心未來也將用SSD(固態硬盤)取代基於硬盤的存儲媒介。SSD/閃存技術對於自動分層存儲技術(AST, Automated Storage Tiering)的發展起着至關重要的作用。

通過爲儲存的數據自動分層,例如把經常使用的數據分層存放,可以讓用戶迅速讀取經常使用的數據,產生良好的用戶體驗。通過實時數據轉移,儲存系統的使用效率可以得到提高,而且使用費用也可以降低。不過,使用AST技術的前提是要實現存儲虛擬化。

聚合型系統可以通過集成存儲系統、服務器以及網絡大大提高性能。聚合型系統還可以跟傳統的IT基礎設施同步運行,可以減少廠商鎖定(Vendor lock-in)帶來的尷尬,方便引進新技術。

結構橫向發展的存儲技術使得數據在存儲的過程中要經過許多服務器主機、控制器,併產生一個自己的命名空間;這一技術還支持多服務協議下的數據存儲(聯合存儲)。

除此之外,這一技術的優勢還包括可伸縮性強、儲存能力強、操作不具破壞性以及管理簡便等等。不過目前這一技術的知名度還不是很高。

作爲計算機系統發展最活躍的領域之一,存儲系統的發展趨勢在一定程度上折射出了計算機的整體發展趨勢。但是,就像其他技術領域的發展一樣,許多技術目前還主要停留在概念和規劃階段,更多的技術標準還有待於進一步規範和實現。從這個意義上講,存儲系統從傳統存儲演變爲公共存儲資源設施將經歷一個相當漫長的過程,存儲系統的發展趨勢和生命力究竟如何,還需要實踐的證明和檢驗。

 

參考文獻:

[1] 毛宇星. 存儲系統未來發展的新趨勢[J]. 中國金融電腦, 2004, 000(003):59-62.

[2] 許魯. 存儲系統的未來發展趨勢[J]. 中國傳媒科技, 2006, 000(003):30-35.

[3] 李從武. 存儲技術的未來發展方向[J]. 通信世界, 2002(32):33.

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章