centos7下fastDFS分佈式文件服務器的搭建

基礎概念

首先簡單瞭解一下基礎概念，FastDFS是一個開源的輕量級分佈式文件系統，由跟蹤服務器（tracker server）、存儲服務器（storage server）和客戶端（client）三個部分組成，主要解決了海量數據存儲問題，特別適合以中小文件（建議範圍：4KB < file_size <500MB）爲載體的在線服務。

Tracker（跟蹤器）

Tracker主要做調度工作，相當於mvc中的controller的角色，在訪問上起負載均衡的作用。跟蹤器和存儲節點都可以由一臺或多臺服務器構成，跟蹤器和存儲節點中的服務器均可以隨時增加或下線而不會影響線上服務，其中跟蹤器中的所有服務器都是對等的，可以根據服務器的壓力情況隨時增加或減少。Tracker負責管理所有的Storage和group，每個storage在啓動後會連接Tracker，告知自己所屬的group等信息，並保持週期性的心跳，tracker根據storage的心跳信息，建立group==>[storage server list]的映射表，Tracker需要管理的元信息很少，會全部存儲在內存中；另外tracker上的元信息都是由storage彙報的信息生成的，本身不需要持久化任何數據，這樣使得tracker非常容易擴展，直接增加tracker機器即可擴展爲tracker cluster來服務，cluster裏每個tracker之間是完全對等的，所有的tracker都接受stroage的心跳信息，生成元數據信息來提供讀寫服務。

Storage（存儲節點）

Storage採用了分卷[Volume]（或分組[group]）的組織方式，存儲系統由一個或多個組組成，組與組之間的文件是相互獨立的，所有組的文件容量累加就是整個存儲系統中的文件容量。一個卷[Volume]（組[group]）可以由一臺或多臺存儲服務器組成，一個組中的存儲服務器中的文件都是相同的，組中的多臺存儲服務器起到了冗餘備份和負載均衡的作用，數據互爲備份，存儲空間以group內容量最小的storage爲準，所以建議group內的多個storage儘量配置相同，以免造成存儲空間的浪費。

相關資源

本次搭建要用的資源都在這裏了：https://github.com/a252937166/fastDFS.git

安裝

libfastcommon

因爲libfastcommon使用c語言寫的，所以我們先要安裝gcc編譯器：

yum -y install gcc-c++

看到如圖(1)的信息說明gcc已經安裝成功：

圖(1)
如果沒有裝解壓工具unzip可以通過以下yum命令進行安裝後再解壓：

yum -y install unzip zip

首先第一步是安裝libfastcommon，我這裏將libfastcommon上傳到的/usr/local目錄下，直接解壓：

unzip libfastcommon-master.zip

解壓完成後就可以進行編譯安裝了，進入libfastcommon-master目錄分別執行

./make.sh

沒有error信息的話就說明編譯成功了，最後再執行

./make.sh install

進行安裝。
ibfastcommon.so 默認安裝到了/usr/lib64/libfastcommon.so，但是FastDFS主程序設置的lib目錄是/usr/local/lib，所以此處需要重新設置軟鏈接（類似於Windows的快捷方式）：

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

設置完畢後就可以開始安裝fastdfs了。

FastDFS

第一步依然是解壓：

tar -zxvf fastdfs-5.05.tar.gz
解壓完成後進入目錄fastdfs-5.05，依次執行./make.sh和./make.sh install：

./make.sh
./make.sh install

圖(2)
沒有報錯就說明安裝成功了，在log中我們可以發現安裝路徑：

圖(3)
沒錯，正是安裝到了/etc/fdfs中，安裝成功後就會生成如上的3個.sample文件（示例配置文件），我們再分別拷貝出3個後面用的正式的配置文件：

cp client.conf.sample client.conf
cp storage.conf.sample storage.conf
cp tracker.conf.sample tracker.conf

再查看一下/etc/fdfs的文件目錄：

圖(4)
至此FastDFS已經安裝完畢，接下來的工作就是依次配置Tracker和Storage了。

Tracker

在配置Tracker之前，首先需要創建Tracker服務器的文件路徑，即用於存儲Tracker的數據文件和日誌文件等，我這裏選擇在/opt目錄下創建一個fastdfs_tracker目錄用於存放Tracker服務器的相關文件：

mkdir /opt/fastdfs_tracker

接下來就要重新編輯上一步準備好的/etc/fdfs目錄下的tracker.conf配置文件，打開文件後依次做以下修改：

disabled=false #啓用配置文件（默認啓用）
port=22122 #設置tracker的端口號，通常採用22122這個默認端口
base_path=/opt/fastdfs_tracker #設置tracker的數據文件和日誌目錄
http.server_port=6666 #設置http端口號，默認爲8080

配置完成後就可以啓動Tracker服務器了，但首先依然要爲啓動腳本創建軟引用，因爲fdfs_trackerd等命令在/usr/local/bin中並沒有，而是在/usr/bin路徑下：

ln -s /usr/bin/fdfs_trackerd /usr/local/bin
ln -s /usr/bin/stop.sh /usr/local/bin
ln -s /usr/bin/restart.sh /usr/local/bin

最後通過命令啓動Tracker服務器：

service fdfs_trackerd start

如果啓動命令執行成功，那麼同時在剛纔創建的tracker文件目錄/opt/fastdfs_tracker中就可以看到啓動後新生成的data和logs目錄，tracker服務的端口也應當被正常監聽，最後再通過netstat命令查看一下端口監聽情況：

netstat -unltp|grep fdfs

可以看到tracker服務運行的22122端口正常被監聽。
確認tracker正常啓動後可以將tracker設置爲開機啓動，打開/etc/rc.d/rc.local並在其中加入以下配置：

service fdfs_trackerd start

圖(5)
Tracker至此就配置好了，接下來就可以配置FastDFS的另一核心——Storage。

Storage

步驟基本與配置Tracker一致，首先是創建Storage服務器的文件目錄，需要注意的是同Tracker相比我多建了一個目錄，因爲Storage還需要一個文件存儲路徑，用於存放接收的文件：

mkdir /opt/fastdfs_storage
mkdir /opt/fastdfs_storage_data

接下來修改/etc/fdfs目錄下的storage.conf配置文件，打開文件後依次做以下修改：

disabled=false #啓用配置文件（默認啓用）
group_name=group1 #組名，根據實際情況修改
port=23000 #設置storage的端口號，默認是23000，同一個組的storage端口號必須一致
base_path=/opt/fastdfs_storage #設置storage數據文件和日誌目錄
store_path_count=1 #存儲路徑個數，需要和store_path個數匹配
store_path0=/opt/fastdfs_storage_data #實際文件存儲路徑
tracker_server=10.211.55.5:22122 #tracker 服務器的 IP地址和端口號，如果是單機搭建，IP不要寫127.0.0.1，否則啓動不成功（此處的ip是我的CentOS虛擬機ip）
http.server_port=8888 #設置 http 端口號

配置完成後同樣要爲Storage服務器的啓動腳本設置軟引用：

ln -s /usr/bin/fdfs_storaged /usr/local/bin

接下來就可以啓動Storage服務了：

service fdfs_storaged start

如果啓動成功，/opt/fastdfs_storage中就可以看到啓動後新生成的data和logs目錄

圖(6)
如圖(6)，沒有任何問題，data下有256個1級目錄，每級目錄下又有256個2級子目錄，總共65536個文件，新寫的文件會以hash的方式被路由到其中某個子目錄下，然後將文件數據直接作爲一個本地文件存儲到該目錄中。那麼最後我們再看一下storage服務的端口監聽情況：

圖(7)
如圖(7)，可以看到此時已經正常監聽tracker的22122端口和storage的23000端口，至此storage服務器就已經配置完成，確定了storage服務器啓動成功後，還有一項工作就是看看storage服務器是否已經登記到 tracker服務器（也可以理解爲tracker與storage是否整合成功），運行以下命令：

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

圖(8)
如圖(8)所示，看到10.211.55.5 ACTIVE 字樣即可說明storage服務器已經成功登記到了tracker服務器，同理別忘了添加開機啓動，打開/etc/rc.d/rc.local並將如下配置追加到文件中：

service fdfs_storage start

至此我們就已經完成了fastdfs的全部配置，此時也就可以用客戶端工具進行文件上傳下載的測試了。

初步測試

測試時需要設置客戶端的配置文件，編輯/etc/fdfs目錄下的client.conf 文件，打開文件後依次做以下修改：

base_path=/opt/fastdfs_tracker #tracker服務器文件路徑
tracker_server=192.168.111.11:22122 #tracker服務器IP地址和端口號
http.tracker_server_port=6666 # tracker 服務器的 http 端口號，必須和tracker的設置對應起來

配置完成後就可以模擬文件上傳了，先給/opt目錄下隨便放個文件（簡歷.pdf）。
然後通過執行客戶端上傳命令嘗試上傳：

/usr/bin/fdfs_upload_file  /etc/fdfs/client.conf  /opt/簡歷.pdf

運行後可以發現給我們返回了一個路徑：

圖(9)
這就表示我們的文件已經上傳成功了，當文件存儲到某個子目錄後，即認爲該文件存儲成功，接下來會爲該文件生成一個文件名，文件名由group、存儲目錄、兩級子目錄、fileid、文件後綴名（由客戶端指定，主要用於區分文件類型）拼接而成，我們到對應目錄下也能找到對應的文件：

圖(10)
但是此時並不能通過http訪問，因爲FastDFS目前已不支持http協議，所以此處在nginx上使用FastDFS的模塊fastdfs-nginx-module，這樣做最大的好處就是提供了HTTP服務並且解決了group中storage服務器的同步延遲問題，接下來就具體記錄一下fastdfs-nginx-module的安裝配置過程。

fastdfs-nginx-module

在安裝nginx之前需要先安裝一些模塊依賴的lib庫，直接貼出安裝代碼：

yum -y install pcre pcre-devel  
yum -y install zlib zlib-devel  
yum -y install openssl openssl-devel

依次裝好這些依賴之後就可以開始安裝nginx了。

storage nginx

首先分別進行解壓：

tar -zxvf nginx-1.13.0.tar.gz
unzip fastdfs-nginx-module-master.zip

解壓成功後就可以編譯安裝nginx了，進入nginx目錄並輸入以下命令進行配置：

./configure --prefix=/usr/local/nginx --add-module=/usr/local/fastdfs-nginx-module-master/src

配置成功後會看到如下信息：

圖(11)
緊接着就可以進行編譯安裝了，依次執行以下命令：

make
make install

安裝完成後，可以看到/usr/local/下新增了一個nginx目錄，這就是剛纔新安裝的nginx的目錄。
接下來要修改一下nginx的配置文件，進入conf目錄並修改nginx.conf，把listen端口爲80的server改爲：

    server {
    listen       9999;

        location ~/group1/M00 {
            root /opt/fastdfs_storage_data/data;
            ngx_fastdfs_module;
     }
    }

然後進入FastDFS的安裝目錄/usr/local/fastdfs-5.05目錄下的conf目錄，將http.conf和mime.types拷貝到/etc/fdfs目錄下：

cp -r /usr/local/fastdfs-5.05/conf/http.conf /etc/fdfs/
cp -r /usr/local/fastdfs-5.05/conf/mime.types /etc/fdfs/

接下來還需要把fastdfs-nginx-module安裝目錄中src目錄下的mod_fastdfs.conf也拷貝到/etc/fdfs目錄下：

cp -r /usr/local/fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs/

沒什麼問題，接下來就需要編輯剛拷貝的這個mod_fastdfs.conf文件了，打開mod_fastdfs.conf並按順序依次編譯以下內容：

base_path=/opt/fastdfs_storage #保存日誌目錄
tracker_server=10.211.55.5:22122 #tracker服務器的IP地址以及端口號
storage_server_port=23000 #storage服務器的端口號
url_have_group_name = true #文件 url 中是否有 group 名
store_path0=/opt/fastdfs_storage_data # 存儲路徑
group_count = 3 #設置組的個數，事實上這次只使用了group1

設置了group_count = 3，接下來就需要在文件尾部追加這3個group setting：

[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/opt/fastdfs_storage_data

[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/opt/fastdfs_storage_data

[group3]
group_name=group3
storage_server_port=23000
store_path_count=1
store_path0=/opt/fastdfs_storage_data

接下來還需要建立 M00 至存儲目錄的符號連接：

ln  -s  /opt/fastdfs_storage_data/data  /opt/fastdfs_storage_data/data/M00

最後啓動nginx：

/usr/local/nginx/sbin/nginx

顯示如下信息說明nginx已啓動成功：

圖(12)
通過瀏覽器也可以看到nginx的主頁：

圖(13)
如果訪問不了，先ping一下自己的ip，如果能ping通，說明是防火牆的問題，在防火牆上打開對應端口就可以了：

/sbin/iptables -I INPUT -p tcp --dport 9999 -j ACCEPT

其他端口以此類推。
如果ping不通ip說明nginx配置不正確，或者ip不對。
storage服務器的nginx就已經安裝完畢，接下來看一下tracker服務器的nginx安裝。

tracker nginx

同理，再裝一個nginx，目錄命名爲nginx2，安裝路徑依舊放在/usr/local下，由於和之前一樣，此處就不再做詳細解釋：

mkdir nginx2
cd nginx-1.13.0/
./configure --prefix=/usr/local/nginx2 --add-module=/usr/local/fastdfs-nginx-module-master/src
make
make install

接下來依然是修改nginx2的配置文件，進入conf目錄並打開nginx.conf文件加入以下配置，tracker的nginx無需修改listen端口，即默認的80端口，並將upstream指向storage的nginx地址，在http節點下新增：

upstream fdfs_group1 {
     server 127.0.0.1:9999;
}

在server節點下新增：

location /group1/M00 {
     proxy_pass http://fdfs_group1;
}

接下來啓動nginx2：

/usr/local/nginx2/sbin/nginx

最後一步就是需要修改/etc/fdfs目錄下的client.conf文件，打開該文件並加入以下配置：

base_path=/opt/fastdfs_storage  #日誌存放路徑
tracker_server=10.211.55.5:22122  #tracker 服務器 IP 地址和端口號
http.tracker_server_port=6666  # tracker 服務器的 http 端口號，必須和tracker的設置對應起來

至此關於fastdfs就已經全部配置完畢了，再一次進行測試看看是否能正常上傳文件並通過http訪問文件。

HTTP測試

再給/opt目錄下上傳一張圖片（timg.jpg）
通過客戶端命令測試上傳：

圖(14)
如圖（14），依舊上傳成功，接下來的關鍵就是通過HTTP測試文件訪問，打開瀏覽器輸入ip地址+文件名看看是否能正常訪問該圖片：

圖(15)
一切正常~ 至此關於FastDFS在CentOS 7下的部署測試就已經全部完成了。

參考文章

http://blog.csdn.net/wlwlwlwl015/article/details/52619851
我基本上都是照上面這篇文章操作的，講得很詳細。