如今,面向網絡的計算環境需要一種高性能、網絡化的文件系統,這種文件系統既可滿足個人的存儲需求又可滿足集羣系統的文件共享需求。在實際應用中,NFS、PVFS文件系統越來越不能滿足大規模計算需求。Lustre是一種高性能並行文件系統,它克服了傳統分佈式文件系統中性能低、可靠性差、規模小等問題。現通過在同一環境下分別安裝NFS、PVFS和Lustre文件系統,然後評測它們的性能。其中在不同系統下的安裝方法是不同的,在redhat下可通過rpm來安裝,比較簡單;在ubuntu下則有點複雜。
一:NFS PVFS Lustre安裝和配置
1.NFS
l 安裝
服務器端:
apt-get install portmap
apt-get install nfs-user-server
apt-get install nfs-kernel-server
客戶端:
apt-get install nfs-common
啓動nfs服務
/etc/init.d/portmap start
/etc/init.d/nfs-user-server start
/etc/init.d/nfs-kernel-server start
l 配置
服務器端:
#vi /etc/exports輸入允許被訪問的IP地址及有關權限
客戶端:
#vi /etc/fstab輸入要訪問的IP地址
2.PVFS
l 安裝
下載Berkeley DB(version 3 or 4)
aio support(provided by glibc and librt)
gcc 2.96 or newer
從PVFS官網下載PVFS-2.7.1.tar.gz軟件包,然後解壓,進入PVFS-2.7.1目錄中,用命令./configure,make,make install完成安裝。
注意:在安裝PVFS軟件包時首先可查看以下系統中是否已經安裝過數據庫和glibc,gcc編譯器的版本是否大於或等於2.96。如果已經安裝好再去安裝PVFS,在實際的安裝過程中,有可能會出現無法找到DB library,這說明你雖然安裝db-xx.tar.gz,但是沒安裝db-devel-xx.rpm。PVFS安裝手冊要求安裝GNU,但可以不安裝。
l 配置
服務器端:#/usr/bin/pvfs2-genconfig /etc/pvfs2-fs.conf
啓動服務器:#/usr/sbin/pvfs2-server /etc/pvfs2-fs.conf –f
#/usr/sbin/pvfs2-server /etc/pvfs2-fs.conf
#/etc/rc.d/init.d/pvfs2-server start
客戶端:#mkdir /mnt/pvfs2
#touch /etc/pvfs2tab
#chmod a+r /etc/pvfs2tab
測試:./pvfs2-ping –m /mnt/pvfs2
注意:在實際的安裝中,PVFS被安裝在/usr/local目錄下。其中pvfs2- genconfig在/usr/local/bin中,pvfs2-server在/usr/local/sbin中。所以上面的目錄對於有些機器是不一樣的,在使用中可以去除目錄直接使用命令即可。pvfs2-genconfig命令可產生配置文件,其中有host name,local name兩項,要輸入服務器和客戶端的別名而不是IP地址。
3.Lustre
(1) 下載給內核打補丁的工具quilt-0.46,用命令#apt-get install quilt-0.46
(2) 給Linux內核打上Lustre補丁,用命令#apt-get install linux-patch-lustre
(3)下載Linux源代碼,用命令#apt-get install linux-source-2.6.18
(4)對linux-source-2.6.18 .tar.gz解壓,進入linux-source-2.6.18的目錄中進行編譯:用make clean,make mrproper,make menuconfig。
(5)#make-kpkg clean;#make-kpkg--added-patches=lustre--initrd--append-to-version"-quota-enabled-lustre-1.6.4 .1" --revision credativ.1 kernel_image
(6)#dpkg –i *.deb
(7) 重新選內核,reboot
(8)#apt-get install dpatch
(9)#m-a auto-install lustre
(10)#apt-get install luster-utils
(11)#modprobe lnet 'network="tcp0(eth0)"';
#modprobe lustre;
#modprobe ldiskfs。
二:用iozone測試性能
1:I/O性能:
在寫性能上:NFS、PVFS差別不是很大;Lustre比它們平均性能提高了20%~30%。
在讀性能上:PVFS比NFS平均性能提高了15%左右;Lustre比PVFS平均性能提高了10%左右;Lustre比NFS提高了20%~30%。
2:擴展性:
PVFS:靜態配置,不能動態擴展
NFS 、Lustre:在線擴展
3:安全性:
NFS: “信任網絡”
PVFS:數據無容錯機制
Lustre:MDS、OST、Client構成高級安全框架