1 什麼是集羣NAS？
集羣（Cluster）是由多個節點構成的一種鬆散耦合的計算節點集合，協同起來對外提供服務。集羣主要分爲高性能集羣HPC(High Performance Cluster)、高可用集羣HAC(High Availablity Cluster)和負載均衡集羣LBC(Load Balancing Cluster)。集羣NAS是指協同多個節點（即通常所稱的NAS機頭）提供高性能、高可用或高負載均衡的NAS（NFS/CIFS）服務。
非結構化數據目前呈現快速增長趨勢，IDC研究報告分析指出，到2012年非結構化數據將佔到數據存儲總量的80%以上。集羣NAS是一種橫向擴展（Scale-out）存儲架構，具有容量和性能線性擴展的優勢，已經得到全球市場的認可。從EMC對ISILON、HP對IBRIX、DELL對Exanet等收購事件，以及IBM推出SONAS、NetApp發佈Data ONTAP 8，都可以看出集羣NAS已經成爲主流存儲技術之一。在國內，我們也看到UIT UFS、龍存LoongStore、九州初志CZSS、美地森YFS等集羣NAS解決方案。集羣NAS的未來潛在市場巨大，在高性能計算HPC、廣電IPTV、視頻監控、雲存儲等行業領域將逐步得到廣泛應用。
2 集羣NAS的三種主流技術架構
從整體架構來看，集羣NAS由存儲子系統、NAS集羣(機頭)、客戶端和網絡組成。存儲子系統可以採用存儲區域網絡SAN、直接連接存儲DAS或者面向對象存儲設備OSD的存儲架構，SAN和DAS架構方式需要通過存儲集羣來管理後端存儲介質，並以SAN文件系統或集羣文件系統的方式爲NAS集羣提供標準文件訪問接口。在基於OSD架構中，NAS集羣管理元數據，客戶端直接與OSD設備直接交互進行數據訪問，這就是並行NAS，即pNFS/NFSv4.1。NAS集羣是NFS/CIS網關，爲客戶端提供標準文件級的NAS服務。對於SAN和DAS架構，NAS集羣同時承擔元數據和I/O數據訪問功能，而OSD架構方式僅需要承擔元數據訪問功能。根據所採用的後端存儲子系統的不同，可以把集羣NAS分爲三種技術架構，即SAN共享存儲架構、集羣文件系統架構和pNFS/NFSv4.1架構。
(1)SAN共享存儲架構
這種架構(如圖1所示)後端存儲採用SAN，所有NAS集羣節點通過光纖連接到SAN，共享所有的存儲設備，通常採用SAN並行文件系統管理並輸出POSIX接口到NAS集羣。SAN並行文件系統通常需要元數據控制服務器，可以是專用的MDC，也可以採用完全分佈的方式分佈到SAN客戶端上。NAS集羣上安裝SAN文件系統客戶端即可實現對SAN共享存儲的併發訪問，然後運行NFS/CIFS服務爲客戶端提供服務。這裏前端網絡採用以太網，後面存儲連接則採用SAN網絡。
圖1 SAN共享存儲集羣NAS架構
由於採用了高性能的SAN存儲網絡，這種集羣NAS架構可以提供穩定的高帶寬和IOPS性能，而且可以通過增加存儲盤陣或NAS集羣節點實現存儲容量和性能單獨擴展。客戶端可以直接連接具體的NAS集羣節點，並採用集羣管理軟件來實現高可用性；也可以採用DNS或LVS實現負載均衡和高可用性，客戶端使用虛擬IP進行連接。SAN存儲網絡和並行文件系統成本都比較高，因此這種集羣NAS架構的缺點就是成本較高，同時也繼承了SAN存儲架構的缺點，比如部署管理複雜、擴展規模有限等。採用這種架構的集羣NAS典型案例是IBM SONAS(圖2)和Symantec FileStore。
圖2 SONAS
(2)集羣文件系統架構
這種架構(如圖3所示)後端存儲採用DAS，每個存儲服務器直連各自的存儲系統，通常爲一組SATA磁盤，然後由集羣文件系統統一管理物理分佈的存儲空間而形成一個單一命名空間的文件系統。實際上，集羣文件系統是將RAID、Volume、File System的功能三者合一了。目前的主流集羣文件系統一般都需要專用元數據服務或者分佈式的元數據服務集羣，提供元數據控制和統一名字空間，當然也有例外，如無元數據服務架構的GlusterFS。NAS集羣上安裝集羣文件系統客戶端，實現對全局存儲空間的訪問，並運行NFS/CIFS服務對外提供NAS服務。NAS集羣通常與元數據服務集羣或者存儲節點集羣運行在相同的物理節點上，從而減少物理節點部署的規模，當然會對性能產生一定的影響。與SAN架構不同，集羣文件系統可能會與NAS服務共享TCP/IP網絡，相互之間產生性能影響，導致I/O性能的抖動。諸如ISILON等集羣文件系統存儲節點之間採用InfiniBand網絡互聯，可以消除這種影響，保持性能的穩定性。
圖3 集羣文件系統集羣NAS架構
在這種架構下，集羣NAS的擴展通過增加存儲節點來實現，往往同時擴展存儲空間和性能，很多系統可以達到接近線性地擴展。客戶端訪問集羣NAS的方式與第一種架構方式相同，負載均衡和可用性也可以採用類似的方式。由於服務器和存儲介質都可以採用通用標準的廉價設備，在成本上有很大優勢，規模可以很大。然而，這類設備是非常容易發生故障的，服務器或者磁盤的損壞都會導致部分數據不可用，需要採用HA機制保證服務器的可用性，採用複製保證數據的可用性，這往往會降低系統性能和存儲利用率。另外，由於服務器節點比較多，這種架構不太適合產品化，可能更加適合於存儲解決方案。用這種架構的集羣NAS典型案例包括EMC ISILON、龍存LoongStore、九州初志CZSS、美地森YFS和GlusterFS(圖4)等。
圖4 GluterFS架構
(3)pNFS/NFSv4.1架構
這種架構(如圖5所示)實際是並行NAS，即pNFS/NFSv4.1，RFC 5661標準已於2010.01獲得批准通過。它的後端存儲採用面對對象存儲設備OSD，支持FC/NFS/OSD多種數據訪問協議，客戶端讀寫數據時直接與OSD設備相互，而不像上述兩種架構需要通過NAS集羣來進行數據中轉。這裏的NAS集羣僅僅作爲元數據服務，I/O數據則由OSD處理，實現了元數據與數據的分離。這種架構更像原生的並行文件系統，不僅系統架構上更加簡單，而且性能上得到了極大提升，擴展性非常好。
圖5 pNFS/NFSv4.1集羣NAS架構
顯而易見，這種架構與上述兩種有着本質的區別，pNFS採用元數據集羣解決了傳統NAS的單點故障和性能瓶頸問題，元數據與數據的分離則解決了性能和擴展性問題。這纔是真正的並行NAS，pNFS纔是集羣NAS的真正未來。然而，畢竟pNFS標準獲得批准才一年，目前還沒有成熟的產品實現，OSD存儲設備發展多年也沒有得到市場廣泛認可和普及。Panasas公司的PanFS(圖6)應該是最接近於這種集羣NAS架構，當然Panasas也是pNFS標準的主要制定者之一。目前很多存儲公司都在研發pNFS產品，比如BlueArc，筆者預測到2012年就會有產品陸續推出。
圖6 PanFS架構
3 開源解決方案
上述提到的集羣NAS存儲產品或者解決方案，大多都是商業實現，而且成本比較昂貴。可能有些用戶想利用開源軟件來實現集羣NAS，有沒有這樣的開源解決方案呢？集羣NAS的核心是底層的並行文件系統、集羣文件系統或pNFS協議，下面就簡單介紹開源在集羣NAS方面的支持和實現。
(1)SAN共享存儲架構：Redhat GFS是開源SAN共享文件系統，它也支持DAS連接方式，然後整合NFS/Samba服務即可實現集羣NAS。
(2)集羣文件系統架構：Lustre, Gluster, PVFS2, Ceph，這些都是優秀的集羣文件系統，Gluster本身就是一個完整的集羣NAS系統。類似Gluster實現，集羣文件系統通過NFS/Samba網關提供NAS服務，實現集羣NAS。
(3)pNFS/NFSv4.1架構：Linux內核當前已經集成了pNFS源碼，但處於實驗階段。另外開源OSD實現很少，GFS2可以支持pNFS。想嘗新的用戶可以一試，實際應用還是要謹慎。