1.1 FastDFS簡述
FastDFS是一款開源的輕量級分佈式文件系統。純C實現，支持Linux, FreeBSD等UNIX系統。類google FS, 不是通用的文件系統，只能夠通過專有API訪問，目前提供了C，Java和PHP API。爲互聯網應用量身定做，解決大容量文件存儲問題，追求高性能和高擴展性。FastDFS可以看做是基於文件的key-value存儲系統，稱爲分佈式文件存儲服務更爲合適。
1.2 FastDFS提供的功能
（1）upload：上傳普通文件，包括主文件
（2）upload_appender：上傳appender文件，後續可以對其進行append操作
（3）upload_slave：上傳從文件
（4）download：下載文件
（5）delete：刪除文件
（6）append：在已有文件後追加內容
（7）set_metadata：設置文件附加屬性
（8）get_metadata：獲取文件附加屬性
1.3 FastDFS的特點
（1）分組存儲，靈活簡潔
（2）對等結構，不存在單點
（3）文件ID由FastDFS生成，作爲文件訪問憑證。FastDFS不需要傳統的name server
（4）和流行的web server無縫銜接，FastDFS已提供apache和nginx擴展模塊
（5）大、中、小文件均可以很好支持，支持海量小文件存儲
（6）支持多塊磁盤，支持單盤數據恢復
（7）支持相同文件內容只保存一份，節省存儲空間
（8）存儲服務器上可以保存文件附加屬性
（9）下載文件支持多線程方式，支持斷點續傳
1.4 FastDFS的安裝
(1)下載
tracker和storage使用相同的安裝包，下載地址：
http://sourceforge.net/projects/FastDFS/
或https://github.com/happyfish100/FastDFS（推薦）
本文檔下載：FastDFS_v5.05.tar.gz
(2)安裝libevent
FastDFS依賴libevent庫,安裝可以通過:
yum -y install libevent
(3)2.4. 安裝libfastcommon
libfastcommon是FastDFS官方提供的，libfastcommon包含了FastDFS運行所需要的一些基礎庫。
|
將libfastcommonV1.0.7.tar.gz移動至/usr/local/下 [root@localhost ~]# mv libfastcommonV1.0.7.tar.gz /usr/local/
進入/usr/local/，解壓libfastcommon [root@localhost local]# cd /usr/local/ [root@localhost local]# tar -zxvf libfastcommonV1.0.7.tar.gz
進入解壓文件夾，編譯，安裝 [root@localhost local]# cd libfastcommon-1.0.7/ 編譯： [root@localhost libfastcommon-1.0.7]# ./make.sh 安裝： [root@localhost libfastcommon-1.0.7]# ./make.sh install 注意：libfastcommon安裝好後會自動將庫文件拷貝至/usr/lib64下，由於FastDFS程序引用usr/lib目錄所以需要將/usr/lib64下的庫文件拷貝至/usr/lib下。 [root@localhost libfastcommon-1.0.7]# cp /usr/lib64/libfastcommon.so /usr/lib/
|
(4)tracker編譯安裝
|
移動到/usr/local [root@localhost ~]# mv FastDFS_v5.05.tar.gz /usr/local/
解壓 [root@localhost ~]# cd /usr/local/ [root@localhost local]# tar -zxvf FastDFS_v5.05.tar.gz
進入解壓文件夾，編譯，安裝 [root@localhost local]# cd FastDFS 編譯 [root@localhost FastDFS]# ./make.sh 安裝 [root@localhost FastDFS]# ./make.sh install
安裝成功後，將安裝目錄下的conf下的文件拷貝到/etc/fdfs/下。 [root@localhost FastDFS]# cd conf/ [root@localhost conf]# cp * /etc/fdfs/ 效果:
|
(5)配置
|
安裝成功後進入/etc/fdfs目錄： [root@localhost FastDFS]# cd /etc/fdfs/ 修改tracker.conf [root@localhost fdfs]# vim tracker.conf 把 base_path=/home/yuqing/fastdfs 改爲： base_path=/home/fastdfs 創建fastdfs文件夾 [root@localhost fdfs]# mkdir /home/fastdfs
|
(6)啓動
|
[root@localhost fdfs]# /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart 多次restart，啓動日誌顯示先停止2952進程（實際環境可能不是2952）再啓動，如下圖： 如果沒有顯示上圖要確認原有進程是否正常停止。
設置開機自動啓動。 [root@localhost fdfs]# vim /etc/rc.d/rc.local 將運行命令行添加進文件：/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
|
(7)FastDFS--storage安裝配置
|
安裝成功後進入/etc/fdfs目錄： [root@localhost FastDFS]# cd /etc/fdfs/ 修改storage.conf [root@localhost fdfs]# vim storage.conf base_path=/home/yuqing/fastdfs改爲：base_path=/home/fastdfs store_path0=/home/yuqing/fastdfs改爲：store_path0=/home/fastdfs/fdfs_storage #如果有多個掛載磁盤則定義多個store_path，如下 #store_path1=..... #store_path2=...... #如果有多個則配置多個tracker 創建fdfs_storage文件夾 [root@localhost fdfs]# mkdir /home/fastdfs/fdfs_storage
|
(8)啓動
|
[root@localhost fdfs]# /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart 多次restart ，啓動的日誌顯示先停止2071進程（實際環境可能不是2071）再啓動，如下圖： 如果沒有顯示上圖要確認原有進程是否正常停止。
設置開機自動啓動。 [root@localhost fdfs]# vim /etc/rc.d/rc.local 將運行命令行添加進文件：/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart |
6.5 FastDFS 和nginx整合
將FastDFS-nginx-module_v1.16.tar.gz傳至/usr/local/下
[root@localhost ~]# mv fastdfs-nginx-module_v1.16.tar.gz /usr/local/
解壓
[root@localhost ~]# cd /usr/local/
[root@localhost local]# tar -zxvf fastdfs-nginx-module_v1.16.tar.gz
編輯配置文件
[root@localhost local]# cd fastdfs-nginx-module/src/
修改config文件將/usr/local/路徑改爲/usr/
[root@localhost src]# vim config
|
|
將FastDFS-nginx-module/src下的mod_fastdfs.conf拷貝至/etc/fdfs/下
[root@localhost src]# cp mod_fastdfs.conf /etc/fdfs/
並修改mod_fastdfs.conf的內容：
[root@localhost src]# vim /etc/fdfs/mod_fastdfs.conf
base_path=/home/fastdfs
|
|
tracker_server=192.168.195.130:22122
#tracker_server=192.168.195.130:22122（多個tracker配置多行）
url_have_group_name=true #url中包含group名稱
|
|
store_path0=/home/fastdfs/fdfs_storage #指定文件存儲路徑
|
|
將libfdfsclient.so拷貝至/usr/lib下
[root@localhost src]# cp /usr/lib64/libfdfsclient.so /usr/lib/
創建nginx/client目錄
[root@localhost src]# mkdir -p /var/temp/nginx/client
1.6 nginx概述
Nginx是一個高性能的HTTP和反向代理服務器，也是一個IMAP/POP3/SMTP服務器。Nginx是由Igor Sysoev爲俄羅斯訪問量第二的Rambler.ru站點開發的，供俄國大型的入口網站及搜索引擎Rambler使用。第一個公開版本0.1.0發佈於2004年10月4日。其將源代碼以類BSD許可證的形式發佈，因它的穩定性、豐富的功能集、示例配置文件和低系統資源的消耗而聞名。
Nginx特點是佔有內存少， 併發能力強。中國大陸使用nginx網站用戶有：百度、京東、新浪、網易、騰訊、淘寶等。2011年6月1日，nginx1.0.4發佈。
1.7 nginx安裝
安裝環境：
安裝pcre庫
yum -y install pcre-devel
安裝zlib庫
yum install -y zlib-devel
上傳Nginx
本文章使用的是nginx-1.7.7.tar.gz
解壓，並進入解壓文件夾
[root@localhost ~]# tar -zxf nginx-1.7.7.tar.gz
[root@localhost ~]# cd nginx-1.7.7
添加fastdfs-nginx-module模塊
執行以下命令
|
./configure \ --prefix=/usr/local/nginx \ --pid-path=/var/run/nginx/nginx.pid \ --lock-path=/var/lock/nginx.lock \ --error-log-path=/var/log/nginx/error.log \ --http-log-path=/var/log/nginx/access.log \ --with-http_gzip_static_module \ --http-client-body-temp-path=/var/temp/nginx/client \ --http-proxy-temp-path=/var/temp/nginx/proxy \ --http-fastcgi-temp-path=/var/temp/nginx/fastcgi \ --http-uwsgi-temp-path=/var/temp/nginx/uwsgi \ --http-scgi-temp-path=/var/temp/nginx/scgi \ --add-module=/usr/local/fastdfs-nginx-module/src 配置成功
|
編譯並安裝
[root@localhost nginx-1.7.7]# make
[root@localhost nginx-1.7.7]# make install
1.8 nginx配置文件
修改Nginx配置文件
[root@localhost nginx-1.7.7]# vim /usr/local/nginx/conf/nginx.conf
添加server:
|
server { listen 80; server_name 192.168.195.130;
location /group1/M00/{ ngx_fastdfs_module; } }
|
說明：
server_name指定本機ip
location /group1/M00/：group1爲nginx 服務FastDFS的分組名稱，M00是FastDFS自動生成編號，對應store_path0=/home/fastdfs/fdfs_storage，如果FastDFS定義store_path1，這裏就是M01
1.9 啓動
啓動Nginx
[root@localhost nginx-1.7.7]# /usr/local/nginx/sbin/nginx
設置開機自動啓動。
[root@localhost fdfs]# vim /etc/rc.d/rc.local
將運行命令行添加進文件：/usr/local/nginx/sbin/nginx
|
|
關閉防火牆
[root@localhost nginx-1.7.7]# service iptables stop
設置防火牆不自動啓動
[root@localhost ~]# chkconfig iptables off