Centos6 部署分佈式文件系統FastDFS

FASTDFS相關簡介

FastDFS是一個開源的輕量級的分佈式文件系統，它對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件爲載體的在線服務，如相冊網站、視頻網站等等。
FastDFS爲互聯網量身定製，充分考慮了冗餘備份、負載均衡、線性擴容等機制，並注重高可用、高性能等指標，使用FastDFS很容易搭建一套高性能的文件服務器集羣提供文件上傳、下載等服務。

FastDFS服務端有兩個角色：跟蹤器（tracker）和存儲節點（storage）。跟蹤器主要做調度工作，在訪問上起負載均衡的作用。
FastDFS架構：
FastDFS服務端有三個角色：跟蹤服務器（tracker server）、存儲服務器（storage server）和客戶端（client）。
1. tracker server：跟蹤服務器，主要做調度工作，起負載均衡的作用。在內存中記錄集羣中所有存儲組和存儲服務器的狀態信 息，是客戶端和數據服務器交互的樞紐。相比GFS中的master更爲精簡，不記錄文件索引信息，佔用的內存量很少。
2.storage server：存儲服務器（又稱：存儲節點或數據服務器），文件和文件屬性（meta data）都保存到存儲服務器上。 Storage server直接利用OS的文件系統調用管理文件。
3.client：客戶端，作爲業務請求的發起方，通過專有接口，使用TCP/IP協議與跟蹤器服務器或存儲節點進行數據交互。

文件上傳和下載的交互過程

文件上傳流程：
客戶端（client）詢問Tracker server上傳到的Storage server
1.client->Tracker server(返回一臺可用的Storage server,返回的數據爲該Storage server的IP地址和端口)
2.client直接與1返回的Storage server建立連接->文件上傳成功後->Storage server會返回新生成的文件ID->結束

文件下載流程的步驟如下：
1. client詢問Tracker server可以下載指定文件的Storage server，參數爲文件ID（包含組名和文件名）；
2. Tracker server返回一臺可用的Storage server；
3. client直接和該Storage server建立連接，完成文件下載。

本文詳細介紹了FastDFS在centos系統上的詳細安裝過程，在從機上使用了nginx實現了http的訪問請求。具體操作如下
FastDFS相關工具下載 https://pan.baidu.com/s/1gfiVMtt

1.將下載的工具上傳到服務器上

所需安裝包
上傳機制：

2.FastDFS集羣規劃

描述	服務器	HOST	分組
跟蹤服務器1	192.168.1.208	mgr208
存儲服務器1	192.168.1.211	mgr211	group1
存儲服務器2	192.168.1.212	mgr212	group1

3.關閉防火牆和sellinux

 service iptables stop 
 chkconfig iptables off

vi /etc/selinux/config 修改 selinux=disable，重啓生效

3.FastDFS安裝（所有tracker服務器和storage服務器均有如下操作）

3.1編譯和安裝所需的依賴包

  yum install make cmake gcc gcc-c++

3.2 安裝libfastcommon
①. 安裝unzip包，將libfastcommon解壓到/usr/local下

 yum install -y unzip zip

 unzip libfastcommon-1.0.7.zip -d /usr/local

②.編譯並運行

 cd /usr/local/libfastcommon-1.0.7
 ./make.sh
 ./make.sh install

由於FastDFS主程序設置的lib目錄是/usr/local/lib，所以需要創建軟鏈接.

   ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
   ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
   ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
   ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

3.3 安裝 FastDFS

①.解壓FastDFS至 /usr/local

tar -zxvf FastDFS_v5.05.tar.gz -C /usr/local

②.編譯並安裝

    cd /usr/local/FastDFS

   ./make.sh

   ./make.sh install

採用默認安裝的方式安裝,安裝後的相應文件與目錄：

   A、服務腳本在：

          /etc/init.d/fdfs_storaged

          /etc/init.d/fdfs_tracker

   B、配置文件在（樣例配置文件）:

          /etc/fdfs/client.conf.sample

          /etc/fdfs/storage.conf.sample

          /etc/fdfs/tracker.conf.sample

   C、命令工具在/usr/bin/目錄下的：

          fdfs_appender_test

          fdfs_appender_test1

          fdfs_append_file

          fdfs_crc32

          fdfs_delete_file

          fdfs_download_file

          fdfs_file_info

          fdfs_monitor

          fdfs_storaged

          fdfs_test

          fdfs_test1

          fdfs_trackerd

          fdfs_upload_appender

          fdfs_upload_file

          stop.sh

          restart.sh

③. FastDFS 服務腳本設置的 bin 目錄是/usr/local/bin，我們在實際命令安裝時是在/usr/bin目錄下，可以進入/user/bin 目錄使用以下命令查看 fdfs 的相關命令：

我們需要修改 FastDFS 服務腳本中相應的命令路徑
把/etc/init.d/fdfs_storaged和/etc/init.d/fdfs_tracker 兩個腳本中的/usr/local/bin 修改成/usr/bin：

# vi /etc/init.d/fdfs_trackerd

使用查找替換命令進批量修改：:%s+/usr/local/bin+/usr/bin

# vi /etc/init.d/fdfs_storaged

使用查找替換命令進批量修改：:%s+/usr/local/bin+/usr/bin

4.配置FastDFS跟蹤器Tracker（192.168.1.208）

4.1 複製 FastDFS 跟蹤器樣例配置文件,並重命名

# cd /etc/fdfs/
# cp tracker.conf.sample tracker.conf   

4.2 編輯跟蹤器配置文件

      vi /etc/fdfs/tracker.conf

修改的內容如下：

   disabled=false #啓用配置文件(默認)

   port=22122  #tracker 的端口號，默認端口22122

   base_path=/fastdfs/tracker  #tracker 的數據文件和日誌目錄

   store_lookup=0（採取輪巡方式選擇要上傳的組進行存儲，默認2 選擇最大空閒空間的組）

4.3 創建基礎數據目錄

mkdir -p /fastdfs/tracker

4.4 防火牆中打開跟蹤器端口（默認爲 22122，因爲我這邊內網測試服務器防火牆都已經關閉，可以不配置，線上環境爲安全考慮一般都會打開）

       vi /etc/sysconfig/iptables

       添加如下端口行：

       -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

       重啓防火牆：

       # service iptables restart

4.5 啓動 Tracker

 /etc/init.d/fdfs_trackerd start
 （第一次成功啓動，會在/fastdfs/tracker 目錄下創建 data、logs 兩個目錄）可以通過以下兩個方法查看 tracker 是否啓動成功:

查看 22122 端口監聽情況

 # netstat -unltp|grep fdfs

通過以下命令查看 tracker 的啓動日誌，看是否有錯誤

 # tail -100f /fastdfs/tracker/logs/trackerd.log

關閉 Tracker命令爲

 /etc/init.d/fdfs_trackerd stop

5.配置FastDFS存儲服務器storage（192.168.1.211 ,192.168.1.212）

5.1 複製 FastDFS 存儲器樣例配置文件,並重命名

      cd /etc/fdfs/

      cp storage.conf.sample storage.conf

5.2 編輯存儲器樣例配置文件

vi /etc/fdfs/storage.conf

修改的內容如下:

       disabled=false #啓用配置文件

       group_name=group1  #組名（第一組爲 group1，第二組爲 group2）

       port=23000  #storage 的端口號,同一個組的 storage 端口號必須相同

       base_path=/fastdfs/storage   #設置 storage 的日誌目錄

       store_path0=/fastdfs/storage  #存儲路徑

       store_path_count=1   #存儲路徑個數，需要和 store_path 個數匹配

       tracker_server=192.168.1.170:22122   #tracker 服務器的 IP 地址和端口

       tracker_server=192.168.1.180:22122   #多個 tracker 直接添加多條配置

       http.server_port=8888   #設置 http 端口號

5.3 創建基礎數據目錄

mkdir -p /fastdfs/storage

5.4 防火牆中打開存儲端口（默認爲 23000，因爲我這邊內網測試服務器防火牆都已經關閉，可以不配置，線上環境爲安全考慮一般都會打開）

       vi /etc/sysconfig/iptables

       添加如下端口行：

       -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

       重啓防火牆：

       # service iptables restart

5.5 啓動 Storage

/etc/init.d/fdfs_storaged start

查看 23000 端口監聽情況：

netstat -unltp|grep fdfs

所有 Storage 節點都啓動之後，可以在任一 Storage 節點上使用如下命令查看集羣信息：

 /usr/bin/fdfs_monitor /etc/fdfs/storage.conf

關閉Storage

 /etc/init.d/fdfs_storaged stop

6.文件上傳測試（192.168.1.208）

6.1 修改 Tracker 服務器中的客戶端配置文件

 cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
  vi /etc/fdfs/client.conf

 base_path=/fastdfs/tracker
 tracker_server=192.168.1.208:22122

6.2 圖片上傳測試

FastDFS上傳命令如下：

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /home/架構分層.png

上圖路徑可以看過上傳在group1 （211,212兩臺存儲服務器中），我們去兩臺服務器中查看，可以看到兩臺服務器中都有上傳成功。

 ll /fastdfs/storage/data/00/00/

7.在各個存儲節點上安裝Nginx(在storage上安裝的nginx主要爲了提供http的訪問服務，同時解決group中storage服務器的同步延遲問題)

7.1解壓nginx插件fastdfs-nginx-module,以及依賴包 pcre、zlib

tar -zxvf fastdfs-nginx-module_v1.16.tar.gz -C /usr/local/
tar -zvxf  pcre-8.34.tar.gz -C /usr/local/
tar -zvxf zlib-1.2.8.tar.gz -C /usr/local/

7.2 解壓安裝nginx

 tar -zvxf nginx-1.7.8.tar.gz -C /usr/local/

7.3 修改 fastdfs-nginx-module 的 config 配置文件

 vi /usr/local/fastdfs-nginx-module/src/config

改成這行

CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

7.4 安裝編譯 Nginx 所需的依賴包

yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel

7.5 編譯安裝 Nginx（添加 fastdfs-nginx-module 模塊）

cd /usr/local/nginx-1.7.8/

./configure --prefix=/usr/local/nginx --add-module=/usr/local/fastdfs-nginx-module/src/  --with-pcre=/usr/local/pcre-8.34/ --with-zlib=/usr/local/zlib-1.2.8/

make

make install

安裝成功的話，結果和上圖一樣，無error信息

7.6 將FastDFS的nginx插件模塊的配置文件copy到FastDFS配置文件目錄

cp /usr/local/fastdfs-nginx-module/src/mod_fastdfs.conf  /etc/fdfs/

vi  /etc/fdfs/mod_fastdfs.conf

Storage 的 mod_fastdfs.conf 配置

#include http.conf

connect_timeout=10

base_path=/tmp

tracker_server=192.168.1.208:22122

storage_server_port=23000

group_name=group1

url_have_group_name = true

store_path0=/fastdfs/storage

group_count = 1  #根據存儲接口group數量設置  本例只有一組

[group1]

group_name=group1

storage_server_port=23000

store_path_count=1

store_path0=/fastdfs/storage 

7.7將fastdfs安裝包中的http.conf、mime.types 兩個文件拷貝到/etc/fdfs中

cp /usr/local/FastDFS/conf/http.conf  /etc/fdfs/

cp /usr/local/FastDFS/conf/mime.types  /etc/fdfs/

7.8 在/fastdfs/storage 文件存儲目錄下創建軟連接,將其鏈接到實際存放數據的目錄

ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

7.9 配置 Nginx

添加

 server {

              listen 8888;

              server_name localhost;

              location /group1/M00 {

            #alias /fastdfs/storage/data;

            ngx_fastdfs_module;

        }

修改配置後要重啓nginx,並添加8888端口到防火牆

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT

重啓防火牆:

service iptables restart

測試訪問之前上傳的圖片：
http://192.168.1.211:8888/group1/M00/00/00/wKgB01mVDFCAYQhLAABx7LgjO-Q374.png

注意事項：
1、8888 端口值是要與/etc/fdfs/storage.conf 中的 http.server_port=8888 相對應，

因爲 http.server_port 默認爲 8888,如果想改成 80，則要對應修改過來。

2、Storage 對應有多個 group 的情況下，訪問路徑帶 group 名，如/group1/M00/00/00/xxx，

對應的 Nginx 配置爲：

location ~/group([0-9])/M00 {

ngx_fastdfs_module;

}

3、如果下載時如發現老報 404，將 nginx.conf 第一行 user nobody 修改爲 user root 後重新啓動。

8 跟蹤器（Tracker）上安裝Nginx(在 tracker 上安裝的 nginx 主要爲了提供 http 訪問的反向代理、負載均衡以及緩存服務)

8.1 安裝編譯 Nginx 所需的依賴包

yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel

8.2 編譯安裝 Nginx（添加 ngx_cache_purge 模塊）
下載ngx_cache_purge-2.3.tar.gz並解壓

tar -zxvf ngx_cache_purge-2.3.tar.gz -C /usr/local/

tar -zvxf nginx-1.7.8.tar.gz -C /usr/local/

cd /usr/local/nginx-1.7.8/

./configure --prefix=/usr/local/nginx --add-module=/usr/local/ngx_cache_purge-2.3/

 make && make install

8.3 配置 Nginx，設置負載均衡以及緩存

vi /usr/local/nginx/conf/nginx.conf

修改nginx.conf (僅供參考，具體參數優化自行修改)

#user  nobody;
worker_processes  1;

events {

    worker_connections  1024;
}

http {

    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    proxy_cache_path  /fastdfs/cache/nginx/proxy_cache  levels=1:2 keys_zone=cache1:200m inactive=1d max_size=10g;

    upstream fdfs_group1 {

                     server 192.168.1.211:8888 weight=1 max_fails=2 fail_timeout=30s;

                     server 192.168.1.212:8888 weight=1 max_fails=2 fail_timeout=30s;

              }

       server{

                     listen 8000;

                     server_name localhost;

                     #設置 group 的負載均衡參數

                     location /group1/M00 {

                            proxy_pass http://fdfs_group1;
                     }

                     #group2

                     #group3

                     #設置清除緩存的訪問權限

                     location ~/purge(/.*) {

                            allow 127.0.0.1;

                            allow 192.168.1.13;

                            allow 192.168.1.0/24;

                            deny all;

                           # proxy_cache_purge http-cache $1$is_args$args;
                            proxy_cache_purge    cache1 $host$1$is_args$args;
                     }

              }
}

創建緩存目錄

  mkdir -p /fastdfs/cache/nginx/proxy_cache

然後啓動nginx並添加對應端口8000到防火牆

vi /etc/sysconfig/iptables


-A INPUT -m state --state NEW -m tcp -p tcp --dport 8000 -j ACCEPT

  重啓防火牆

service iptables restart

訪問http://192.168.1.208:8000/group1/M00/00/00/wKgB01mVDFCAYQhLAABx7LgjO-Q374.png
能成功打開，說明配置成功。