網絡存儲學習之網絡存儲技術的發展現狀及趨勢

1 概述

圖靈獎獲得者Jim Gray提出了一個新的經驗定律：網絡環境下每十八個月產生的數據量等於有史以來數據量之和。信息資源的爆炸性增長對存儲系統在存儲容量、數據可用性以及I/O性能等方面提出了越來越高的要求。

1.1 信息時代對網絡存儲的要求

數據的存取只應該受到安全機制的限制，而不應該受到地域空間的約束。在數字化和網絡互聯時代、在多用戶並行環境中，大規模應用系統的廣泛部署對網絡存儲系統的性能和功能提出了巨大挑戰，主要表現爲：

1. 高性能：各種實時性要求嚴格的應用系統要求SAN存儲系統提供高性能的處理和傳輸能力以滿足實時性要求，尤其在大數據量和高突發性的應用系統中，吞吐量和命令處理速率是非常關鍵的指標。
   
2. 可擴展性：存儲系統必須能夠根據應用系統的需求動態擴展存儲容量、系統規模及軟件功能。如在許多應用系統如數字圖書館、石油勘探地震資料處理等應用，需求PB以上級別的海量存儲容量。
   
3. 可共享性：存儲資源可以方便的被前端異構平臺的主機共享使用。
   
4. 自適應性：存儲系統能夠根據各種應用系統的動態工作負載和內部設備能力的變化動態改變自己的配置、策略以提高I/O性能。
   
5. 可管理性：當存儲容量、存儲設備、服務器以及網絡設備越來越多時，系統管理變得複雜，因此係統需要提供高可管理性，以減少系統管理和配置的時間。
   
6. 可靠性/可用性：許多應用系統需要24×365連續運行，要求存儲系統具有高度的可用性，以提供不間斷的數據存取服務。
   

2  網絡存儲技術的發展

現在網絡存儲技術主要有三種：直連式存儲(DAS：Direct Attached Storage)、網絡存儲設備(NAS：Network Attached Storage)和存儲網絡(SAN：Storage Area Network)。

2.1 直連式存儲 DAS

DAS(Direct Aaached Storage一直接連接存儲)被定義爲直接連接在各種服務器或客戶端擴展接口下的數據存儲設備，是指將存儲設備通過SCSI接口或光纖通道直接連接到服務器上的方式。如圖2，它完全以服務器爲中心，寄生在相應服務器或客戶端上，其本身是硬件的堆疊，不帶有任何存儲操作系統。其特徵爲存儲設備爲通用服務器的一部分，該服務器同時提供應用程序的運行，即數據訪問與操作系統、文件系統和服務程序緊密相關。當用戶數量增加或服務器正在提供服務時，其響應速度會變慢．在網絡帶寬足夠的情況下，服務器本身成爲數據輸入輸出的瓶頸。現在已漸漸不能滿足用戶的需求，不再爲大家所採用。DAS存儲沒有剛絡結構。存在許多缺點：一方面該技術具備共享性，每種客戶機類型都需要一個服務器，從而增加了存儲管理和維護的難度；另一方面，當存儲容量增加時，擴容變得十分困難。而且當服務器發生故障時，數據也難以獲取。因此，DAS難以滿足現今的存儲要求。

2.2 網絡附加存儲 NAS

在這種新的存儲結構中，存儲系統不再通過I／0總線附屬於某個特定的服務器或客戶機，而是直接通過網絡接口與網絡直接相連，由用戶通過網絡訪問。與DAS系統相比，NAS具有非常好的可擴展性(Scalability)，並且由於數據不再通過服務器內存轉發(這會引起額外延遲和阻塞)，數據直接在客戶機和存儲設備間傳送(即所謂第三方傳送)，服務器僅起控制管理的作用，因而具有更快的響應速度和更高的數據帶寬。另外對服務器的要求降低，可大大降低服務器成本，這樣就有利於高性能存儲系統在更廣的範圍內普及應用。

2.3  存儲區域網絡 SAN

存儲局域網是一種利用Fiber Channel等存儲協議連接起來的可以在存儲資源和服務器之間建立直接的數據連接的高速計算機網絡。光纖通道把多個存儲設備和服務器連接在一起形成一個存儲局域網，其中存儲設備共同構成一個存儲池，都可以很方便的添加到網絡中去，因此具有較好的可擴展性。存儲設備從服務器中分離出來，與服務器形成一個多對多的關係，存儲設備上的數據容易被其他服務器共享，遷移也變得很容易。採用存儲局域網，數據的備份、恢復、遷移都是通過存儲局域網本身來完成，而不需要藉助於服務器和現有的LAN／WAN，從而大大減少了現有服務器和網絡的工作負載。由於採用的是具有高帶寬的光纖通道，所以整個存儲網絡具有較高的數傳率，數據訪問性能較好。另外存儲設備都集中在一個網絡上，便於管理，節省了管理開銷。

2.4 Jini技術

Jini是一種新的網絡體系結構，它實現了網絡設備的自發組網，即網絡中的“即插即用”。Jini平臺由Java語言開發環境衍生而來，其核心是隻有48KB的Java二進制代碼。採用Jini技術的網絡設備互連在一起組成一個Jini設備的聯盟，每個設備自身都可以爲聯盟中的其他設備提供服務。爲了保證服務的可靠性和兼容性，Jini設備都必需提供一定的接口。Jini技術是用查找服務(1ookup Service)來註冊聯盟中的設備以及設備提供的服務，當一個新的設備加人聯盟時，它必需先向該聯盟中的某個查找服務發送一個代理信息包，該信息包含了設備提供的服務的接口及其他規定屬性。當Jini聯盟中的客戶需要利用聯盟中的某一項服務時，它通過聯盟中的查找服務代理去尋找相關服務的位置，下載其代理信息的副本，從而得到該服務。

3 網絡存儲的發展趨勢

3.1 基於InfiniBand的存儲系統

InfiniBand 是被用來取代PCI總線的新I/O體系結構。InfiniBand把網絡技術引入I/O體系中，形成一個I/O交換網絡結構，主機系統通過一個或多個主機通道適配器（HCA）連接到I/O交換網上，存儲器、網絡通信設備通過目標通道適配器（TCA）連接到該I/O交換網上。

InfiniBand體系結構把IP網絡和存儲網絡合二爲一，以交換機互連和路由器互連的方式支持系統的可擴展性。服務器端通過主機通道適配器（HCA）連接到主機內存總線上，突破了PCI的帶寬限制，存儲設備端通過終端通道適配器（TCA）連接到物理設備上，突破了SCSI和FC-AL的帶寬限制。在InfiniBand體系結構下，可以實現不同形式的存儲系統，包括SAN和NAS。

基於InfiniBandI/O路徑的SAN存儲系統有兩種實現途徑：其一是SAN存儲設備內部通過InfiniBand I/O路徑進行數據通信，InfiniBand I/O路徑取代PCI或高速串性總線，但與服務器/主機系統的連接還是通過FC I/O路徑;其二是SAN存儲設備和主機系統利用InfiniBand I/O路徑取代FC I/O路徑，實現徹底地基於InfiniBand I/O路徑的存儲體系結構。

3.2 採用DAFS

DAFS的主要作用是主要的目的是在所有的網絡上建立一個通用的網絡I/O存儲系統。作爲一種文件系統協議，直接存取文件系統DAFS可以在大量甚至過量負載時有效地減輕存儲服務器的計算壓力，提高存儲系統的性能。DAFS把RDMA的優點和NAS的存儲能力集成在一起，全部讀寫操作都直接通過DAFS的用戶層——RDMA驅動器執行，從而降低了網絡文件協議所帶來的系統負載。

DAFS的基本原理是通過縮短服務器讀寫文件時的數據路徑來減少和重新分配CPU的計算任務。它提供內存到內存的直接傳輸途徑，使數據塊的複製工作不需要經過應用服務器和文件服務器的CPU，而是在這兩個物理設備預先映射的緩衝區中直接傳輸。也就是說，文件可以直接由應用服務器內存傳輸到存儲服務器內存，而不必先填充各種各樣的系統緩衝區和網絡接收器。DAFS可以直接集成到NAS存儲服務器中，一方面實現高性能的數據傳輸，另一方面也可以更好地支持數據庫管理系統，如Oracle數據庫等。

具體來講，DAFS協議的設計充分利用正出現的RDMA網絡通信技術，例如InfiniBand, VI和iWARP的文件存取協議，從而極大地增強了WEB、計算、電子商務等各種應用的性能、可靠性與可擴展性。因爲DAFS網絡文件協議直接在內核中實現，而且直接通過內核的文件系統低層和設備交互，因此，從體系結構上，基於DAFS的NAS和基於SCSI目標模擬器的SAN體系結構基本相同，這樣就可以把NAS和SAN融合到一個存儲設備中，實現NAS和SAN的融合。

DUKE大學在MYRINET和以太網網絡上基於IP協議實現了一個統一傳輸協議的SAN存儲系統，並將DAFS實現在該SAN存儲系統中，於是實現了統一傳輸協議以及統一NAS和SAN的網絡存儲系統。DAFS客戶與DAFS文件服務器的體系結構如下圖所示：

3.3NASD技術

NASD（Network-AttachedSecure Disk）是CMU大學目前正在研究的網絡存儲項目，它是一個類似NAS存儲設備的智能磁盤驅動器，但將管理、文件系統語義和存儲轉發相分離，僅實現基本的存儲元語，由文件管理器實現文件系統的高層管理部分。它對外提供以太網、ATM等數據通信接口與IP網絡相連，或者通過FC接口連接到SAN上。

NASD設備嵌入了低層的磁盤管理功能並提供了可變化長度的對象存儲接口。客戶端可以直接存取NASD設備中的存儲資源。文件管理器負責每個客戶對NASD設備存儲資源的存取控制和檢查工作。存儲管理器則負責NASD存儲資源的映射管理和RAID管理等工作。因爲網絡通信可以通過公用數據網絡採用普通的通信協議完成，因而NASD需要提供安全機制，目前採用的是基於私鑰/公鑰驗證技術的安全機制。

3.4 統一虛擬存儲。

統一的虛擬存儲將不同廠商的FC-SAN、NAS、IP-SAN、DAS等各類存儲資源整合起來，形成一個統一管理、監控和使用的公用存儲池。虛擬存儲的實質是資源共享，因此，統一虛擬存儲的任務有兩點：其一是如何進一步增加可共享的存儲資源的數量；其二是如何通過有效的機制在現有存儲資源基礎上提供更好的服務。

從系統的觀點看，存儲虛擬化有三種途徑:基於主機的虛擬化存儲、基於存儲設備的虛擬化存儲以及基於網絡的虛擬化存儲。統一虛擬存儲的實現只能從虛擬存儲的實質出發，因此，單一存儲映象的方法可能是虛擬存儲的發展方向。

NAS和SAN是目前網絡存儲的主流技術，二者在不同的應用領域各有所長，還出現了二者相互融合的趨勢。隨着SAN在IP網絡中的成功應用，其低廉的成本，加上虛擬存儲技術的廣泛應用，SAN極有可能成爲網絡存儲的主導方向，而存儲虛擬化、數據高可用和容災支持將會是SAN的關鍵技術。

3.5 基於IP的網絡存儲技術

IP．SAN是採用iSCSl(Interact Small ComputerSystems Interface)協議構架在IP網絡上的SAN。iSCSI協議通過IP協議來封裝SCSI命令，並在IP網絡上傳輸SCSI命令和數據。在FC．SAN結構中，服務器間的消息傳遞使用的是前端局域網，而數據傳輸則被限制在後端的存儲網絡中。但是，IpoSAN的倡導者認爲存儲網絡應該與應用網絡使用相同的體系架構和技術標準，也就是說，IPSAN存儲系統既使用IP網絡進行消息傳遞，也使用IP網絡進行數據傳輸。基於IP網絡的SAN系統可充分利用目前普遍使用的lP網絡基礎設施，解決了應用網絡和存儲網絡異構的問題。另一方面，IP．SAN的數據傳輸路徑和FCSAN存儲系統的I／O路徑相比，只是光纖通道卡和FCP協議變爲iSCSI卡和iSCSI協議。

3.6 遠程分佈式存儲

從遠程和網絡存儲的角度來看，廣泛用於高性能計算機中的分佈式存儲也屬於網絡內存，典型的如NUMA(Non．Uniformed Memoq Access，非一致內存訪問)和DSM(Distributed Software Memory)系統。他們都是通過訪問遠程內存來擴展本地內存，或者實現共享。他們的出現由來已久，廣泛用於高性能計算機中。

3.7 NUMA (Non-Uniformed Memory Access)

NUNLA系統通常是通過高速專用網絡連接起來的獨立的高速處理器構成的大規模處理器系統睜。這樣的系統可以提供很高的綜合性能。在協作方式下運行的這些處理器集合可以象單處理器系統一樣分時運行。多處理器系統在性能上的優勢促進了具有硬件支持的標準操作系統及多處理器編程工具的多處理器系統的發展。並在這樣條件的作用下，多處理器系統變得更易於實現。而爲了獲得更高的性能而編寫多處理器程序的思想也被廣泛接受。爲了提高性能，在大規模共享存儲多處理器系統中，存儲器在多處理器上呈分佈式。因此，對一個處理器來講，訪問本地存儲器比訪問遠程存儲器用的時間要少得多。但它的控制部件和互連網絡是高度專用的，成本非常高，應用範圍非常小。

3.8 DSM (Distributed Software Memory)

軟件分佈式共享存儲系統(DsM)是在消息傳遞的硬件上(如機羣系統)通過軟件的方法實現的共享存儲編程抽象，這個抽象本質的內容是一個共享的、統一編址的邏輯地址空間，通常把這個空間叫做虛擬共享存儲空間。軟件分佈式共享存儲系統負責實現分佈的存儲空間和虛擬共享存儲空間之間的地址相互轉換，同時它也必須負責維護整個虛擬共享存儲空間的一致性，即從該共享空間的某個地址上讀操作返回的值應是最新寫的值。這樣，從程序員的角度來看，他們除了做一些簡單的任務劃分外，就像使用傳統的串行機器一樣方便。而軟件分佈式共享存儲系統則因爲網絡性能、爲維護一致性所引發的系統開銷、假共享和頻繁通信受到嚴重影響。有些專門的網絡內存方面的研究，如SAMON、MOMEMTO等，利用現有的結點和網絡，主要在軟件層次實現網絡內存，其實質是對DSM的改進，性能、容量和成本都受到限制。

4 SAN和NAS的區別

SAN與NAS雖然在功能上有很多相同之處，但它們還是有很大區別的，以下討論兩者之間的相同之處。

4.1 SAN和NAS的共同特徵

(1)都用於擴展存儲容量和性能，都可隨大容量存儲的增長而逐步擴展，可擴展性較好；
(2)二者的拓撲結構都使得用戶可以分開採購存儲設備和服務器，使得用戶可以針對自己的需求量體裁衣，選購自己需要的產品，大大減少了用戶的重複開銷；
(3)不同的用戶都可以通過多種操作系統得到所要的數據；
(4)由於存儲數據不再依賴於某個具體的多功能服務器，使得其具有較高的數據可用性，消除了傳統的附屬於服務器存儲方式中的I／O瓶頸。通過提供對存儲的集中管理大大減少了管理開銷，用戶並不需要把UNIX，或者是NT系統生成的數據分開存儲。儘管SAN和NAS有很多共同特徵，但二者還是有很大的差異的，其最大的差異是存儲局域網是一個網絡的概念，而附網存儲實際上是指一種可以與網絡直接相連的存儲設備，它更多的是強調“設備”的概念。存儲局域網考慮的是如何利用光纖通道把現有的存儲設備和服務器等資源連接成一個共享的網絡，而附網存儲更多的是考慮如何管理客戶機通過網絡與存儲設備之間數據的存儲和流動，它更多的依靠現有標準的LAN／WAN連接。

4.2 SAN的優點

(1)通過提供光纖通道的連接，提供高速數據訪問，特別適合於處理音頻、視頻這類的大容量數據；
(2)具有較好的數據完整性、可用性和可靠性，特別適合於用作備份和災難恢復的鏡像站點，最遠可達10 km；
(3)使用可靠的SCSI協議進行連接，而不是NFS，FTP，HTrP之類的網絡協議；
(4)強調的是集中的存儲服務，而不強調共享存儲。

4.2 SAN的弱點

(1)與NAS相比較，安裝費用較高，隨着網絡環的深度、方案的規模和複雜度而增加；
(2)由於遠距離光纖通道價格昂貴，所以SAN通常情況下侷限於局域網；
(3)由於SAN考慮的是集中存儲，而不是共享存儲，所以SAN環境中數據的共享比較困難，需要客戶端的操作系統對其他操作系統的數據格式有較好的支持；

(4)SAN安裝複雜，通常需要定製安裝。

4.3 NAS的優勢

(1)對於需要快速、大範圍訪問數據的用戶來說是最簡單別緻的方案，這個方案不影響用戶現有的網絡結構；
(2)不同操作系統的異質網絡環境下的數據共享十分方便；
(3)適用於低速連接；
(4)數據可以集中管理。

4.4 NAS的弱點

(1)安全性問題，由於附網存儲設備直接與以太網相連，其安全性存在着一定的問題，通常爲了保障安全性，需要設置防火牆；
(2)大量數據存儲都通過網絡完成，增加了網絡的負載，特別不適合音頻、視頻數據的存儲；
(3)災難恢復比較困難，通常需要一個專門定製方案。

4.5 SAN的應用

SAN的應用主要可以歸納爲下面集中應用：構造羣集環境，利用存儲局域網可以很方便地通過光纖通道把各種服務器、存儲設備連接在一起構成一個具有高性能、較好的數據可用性、可擴展的羣集環境。
(1)數據保護，存儲局域網可以做到無服務器的數據備份，數據也可以後臺的方式在存儲局域網上傳遞，大大減少了主要網絡和服務器上的負載，所以存儲局域網可以很方便地實現諸如磁盤冗餘、關鍵數據備份、遠程羣集、遠程鏡像等許多防止數據丟失的數據保護技術；
(2)數據遷移，可以方便地進行兩個存儲設備之間的數據移動；
(3)災難恢復，特別是遠程的災難恢復；
(4)數據倉庫，用來構建一個網絡系統的存儲倉庫，使得整個存儲系統可以很好地共享。

4.6  NAS的應用

網絡存儲由於其較好的可擴展性、可訪問性、低價位、安裝簡單、易於管理等優點，廣泛應用於電子出版、CAD、圖像、教育、銀行、政府、法律環境等那些對數據量有較大需求的應用中。多媒體、Internet下載以及在線數據的增長，特別是那些要求存儲器能隨着公司文件大小規模而增長的企業、小型公司、大型組織的部門網絡，更需要這樣一個簡單的可擴展的方案。網絡存儲低檔產品適用於那些需要增加存儲容量的小的工作組網絡環境，網絡存儲高檔產品則旨在加速企業服務器的性能。

5 總結與展望

網絡存儲提高了數據的共享性，可用性，可擴展性和管理性，但仍然存在一些缺陷。如：NAS的性能較低；SAN的實現費用較高，互操作性差；IP-SAN則存在着嚴謹的SCSI協議和無法保證質量的TCP／IP協議的矛盾。因此，網絡存儲的發展，以解決存儲共享，數據共享等問題，仍然是當今存儲體系結構研究的重點和熱點。目前網絡存儲的核心技術是圍繞SCSI、FC、IP以太網及它們的交叉融合發展，NAS存儲系統可能採用DAFS技術提高系統性能，利用虛擬存儲體系結構實現所有的存儲技術的統一，基於總線的存儲，將可能沿着基於InfiniBand技術發展。

但是以上這些項目都沒有打破部件緊耦合，沒有實現部件級共享；由於採用傳統的網絡作爲互連，延遲開銷非常大，不能滿足內存部件對延遲的要求：同時從低成本擴展、適應性和延遲隱藏角度進行的研究不足。如果需要解決這些問題，需要有新的互連技術作爲基礎。