技術 Linux下使用FastDFS

1.Linux下使用FastDFS

本教程所有操作均在CentOS 6.x環境下進行。

將課前資料中的所需文件，上傳到/usr/local/leyou目錄下：
鏈接
提取碼： 8gkf

1.1.單節點FastDFS

整個安裝過程非常複雜，很容易出錯，建議進行多次備份。

我們這裏不打算安裝多臺虛擬機，因此會把tracker和storage都安裝在一起。

1.1.1.安裝gcc

GCC用來對C語言代碼進行編譯運行，使用yum命令安裝：

yum -y install gcc

後面會用到解壓命令（unzip），所以這裏可以用yum把unzip 也裝一下

yum install -y unzip zip

1.1.2.安裝libevent

yum -y install libevent

1.1.3.安裝libfastcommon-master

解壓剛剛上傳的libfastcommon-master.zip
unzip libfastcommon-master.zip

進入解壓完成的目錄
cd libfastcommon-master

編譯並且安裝：
./make.sh 
./make.sh install

1.1.4.安裝fastdfs

tar -zxvf FastDFS_v5.08.tar.gz

cd FastDFS

./make.sh 

./make.sh install

如果安裝成功，會看到/etc/init.d/下看到提供的腳本文件：

ll /etc/init.d/ | grep fdfs

• fdfs_trackerd 是tracker啓動腳本
• fdfs_storaged 是storage啓動腳本

能夠在 /etc/fdfs/ 目錄下看到默認的配置文件模板：

ll /etc/fdfs/

• tarcker.conf.sample 是tracker的配置文件模板
• storage.conf.sample 是storage的配置文件模板
• client.conf.sample 是客戶端的配置文件模板

1.1.5.配置並啓動tracker服務

FastDFS的tracker和storage在剛剛的安裝過程中，都已經被安裝了，因此我們安裝這兩種角色的方式是一樣的。不同的是，兩種需要不同的配置文件。

我們要啓動tracker，就修改剛剛看到的tarcker.conf，並且啓動fdfs_trackerd腳本即可。

1）首先將模板文件複製

cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

2）修改複製後的配置文件：

vim /etc/fdfs/tracker.conf 

# 修改的內容如下：

base_path=/leyou/tracker                 # 存儲日誌和數據的根目錄

3）新建目錄：

mkdir -p /leyou/tracker

注意：關閉防火牆：

chkconfig iptables off

4）啓動和停止

啓動tracker服務器: /etc/init.d/fdfs_trackerd start

停止tracker服務器: /etc/init.d/fdfs_trackerd stop

不過安裝過程中，fdfs已經被設置爲系統服務，我們可以採用熟悉的服務啓動方式：

service fdfs_trackerd start # 啓動fdfs_trackerd服務，停止用stop

檢查FastDFS Tracker Server是否啓動成功：

ps -ef | grep fdfs_trackerd

設置tracker服務開機啓動:

chkconfig fdfs_trackerd on

1.1.6.配置並啓動storage服務

1）首先將模板文件複製

cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

2）修改複製後的配置文件：

vim /etc/fdfs/storage.conf

# 修改的內容如下:

base_path=/leyou/storage                 # 數據和日誌文件存儲根目錄 

store_path0=/leyou/storage           # 第一個存儲目錄 

tracker_server=192.168.56.101:22122       #  tracker服務器IP和端口 

3）新建目錄：

mkdir -p /leyou/storage

注意關閉防火牆： chkconfig iptables off

4）啓動和停止

啓動storage服務器：/etc/init.d/fdfs_storaged start

停止storage服務器：/etc/init.d/fdfs_storaged stop

推薦使用：

service fdfs_storaged start  # 啓動fdfs_storaged服務，停止用stop

設置storage服務開機啓動：

chkconfig fdfs_storaged on

ps -ef | grep fdfs

2.使用nginx訪問FastDFS

2.1.爲什麼需要用Nginx訪問？

FastDFS通過Tracker服務器,將文件放在Storage服務器存儲，但是同組存儲服務器之間需要進入文件複製，有同步延遲的問題。

假設Tracker服務器將文件上傳到了192.168.4.125（服務器的IP），上傳成功後文件ID已經返回給客戶端。此時FastDFS存儲集羣機制會將這個文件同步到同組存儲192.168.4.126（服務器的IP），在文件還沒有複製完成的情況下，客戶端如果用這個文件ID在192.168.4.126上取文件,就會出現文件無法訪問的錯誤。

而fastdfs-nginx-module可以重定向文件連接到文件上傳時的源服務器取文件,避免客戶端由於複製延遲導致的文件無法訪問錯誤

2.2.安裝fastdfs-nginx-module

2.2.1.解壓

tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

2.2.2.修改config

1）進入src目錄

cd fastdfs-nginx-module/src/

2）編輯config

vim config

使用以下底行命令：

:%s+/usr/local/+/usr/+g

將所有的/usr/local替換爲 /usr，這個纔是正確的目錄:

2.2.3.配置nginx與FastDFS關聯配置文件

複製 fastdfs-nginx-module 源碼中的配置文件到/etc/fdfs 目錄， 並修改

cp /usr/local/leyou/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

vi /etc/fdfs/mod_fastdfs.conf

修改以下配置：

connect_timeout=10                       # 客戶端訪問文件連接超時時長（單位：秒）

tracker_server=192.168.56.101:22122    # tracker服務IP和端口

url_have_group_name=true                # 訪問鏈接前綴加上組名

store_path0=/leyou/storage            # 文件存儲路徑

複製 FastDFS 的部分配置文件到/etc/fdfs 目錄

cd /usr/local/leyou/FastDFS/conf/
cp http.conf mime.types /etc/fdfs/

2.3.安裝Nginx的插件

2.3.1.如果沒有安裝過nginx

• 安裝nginx的依賴庫

yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel

• 解壓安裝包

tar -zxvf nginx-1.10.0.tar.gz

• 配置nginx安裝包，並指定fastdfs-nginx-model

cd nginx-1.10.0

./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/usr/local/leyou/fastdfs-nginx-module/src

注意：在執行./configure配置nginx參數的時候，需要將fastdfs-nginx-moudle源碼作爲模塊編譯進去。

• 編譯並安裝

make && make install

2.3.2.如果已經安裝過nginx

建議卸載重新安裝

1） 進入nginx目錄：

cd /usr/local/leyou/nginx-1.10.0/

2） 配置FastDFS 模塊

./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/usr/local/leyou/fastdfs-nginx-module/src

注意：這次配置時，要添加fastdfs-nginx-moudle模塊

3） 編譯，注意，這次不要安裝（install）

make

4） 替換nginx二進制文件:

備份：

mv /usr/bin/nginx /usr/bin/nginx-bak

用新編譯的nginx啓動文件替代原來的：

cp objs/nginx /usr/bin/

2.3.3.啓動nginx

配置nginx整合fastdfs-module模塊

我們需要修改nginx配置文件，在/opt/nginx/config/nginx.conf文件中：

vim  /opt/nginx/conf/nginx.conf

將文件中，原來的server 80{ ...} 部分代碼替換爲如下代碼：

    server {
        listen       80;
        server_name  image.leyou.com;

    	# 監聽域名中帶有group的，交給FastDFS模塊處理
        location ~/group([0-9])/ {
            ngx_fastdfs_module;
        }

        location / {
            root   html;
            index  index.html index.htm;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }

啓動nginx：

nginx	# 啓動nginx

nginx -s stop	# 停止nginx

nginx -s reload	# 重新載入配置文件

# 可通過ps -ef | grep nginx查看nginx是否已啓動成功

2.3.4.設置nginx開機啓動

創建一個開機啓動的腳本：

vim /etc/init.d/nginx

添加以下內容：

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:  NGINX is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid

# Source function library.
. /etc/rc.d/init.d/functions

# Source networking configuration.
. /etc/sysconfig/network

# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0

nginx="/usr/bin/nginx"
prog=$(basename $nginx)

NGINX_CONF_FILE="/opt/nginx/conf/nginx.conf"

[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx

lockfile=/var/lock/subsys/nginx

make_dirs() {
   # make required directories
   user=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   if [ -n "$user" ]; then
      if [ -z "`grep $user /etc/passwd`" ]; then
         useradd -M -s /bin/nologin $user
      fi
      options=`$nginx -V 2>&1 | grep 'configure arguments:'`
      for opt in $options; do
          if [ `echo $opt | grep '.*-temp-path'` ]; then
              value=`echo $opt | cut -d "=" -f 2`
              if [ ! -d "$value" ]; then
                  # echo "creating" $value
                  mkdir -p $value && chown -R $user $value
              fi
          fi
       done
    fi
}

start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}

stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}

restart() {
    configtest || return $?
    stop
    sleep 1
    start
}

reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}

force_reload() {
    restart
}

configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}

rh_status() {
    status $prog
}

rh_status_q() {
    rh_status >/dev/null 2>&1
}

case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

修改文件權限，並加入服務列表

# 修改權限
chmod 777 /etc/init.d/nginx 
# 添加到服務列表
chkconfig --add /etc/init.d/nginx 

設置開機啓動

chkconfig nginx on

3. 寫在最後：

如果出現任何錯誤先查看修改的配置文件看是否修改成功，都修改成功還是出錯，直接去看日記，會事半功倍的！


最後經過排查才知道其中一個配置文件 沒有！沒有！！沒有！！ 修改成功，改完再通過地址訪問成功

---

2020年5月15日更

---

大家覺得還可以可以點贊、收藏、關注一下吧！
也可以到我的個人博客參觀一下，估計近幾年都會一直更新！和我做個朋友吧！https://motongxue.cn