Linux下搭建FastDFS文件服務器(親測成功)

  FastDFS是一個開源的輕量級分佈式文件系統,它對文件進行管理,功能包括:文件存儲、文件同步、文件訪問(文件上傳、文 件下載)等,解決了大容量存儲和負載均衡的問題。特別適合以文件爲載體的在線服務,如相冊網站、視頻網站等等。

FastDFS爲互聯網量身定製,充分考慮了冗餘備份、負載均衡、線性擴容等機制,並注重高可用、高性能等指標,使用FastDFS很容易搭建一套高性能的文件服務器集羣提供文件上傳、下載等服務。

簡介

 FastDFS服務端有兩個角色:跟蹤器(tracker)和存儲節點(storage)。跟蹤器主要做調度工作,在訪問上起負載均衡的作用。

  存儲節點存儲文件,完成文件管理的所有功能:就是這樣的存儲、同步和提供存取接口,FastDFS同時對文件的metadata進行管理。所謂文件的meta data就是文件的相關屬性,以鍵值對(key value)方式表示,如:width=1024,其中的key爲width,value爲1024。文件metadata是文件屬性列表,可以包含多個鍵值對。

  跟蹤器和存儲節點都可以由一臺或多臺服務器構成。跟蹤器和存儲節點中的服務器均可以隨時增加或下線而不會影響線上服務。其中跟蹤器中的所有服務器都是對等的,可以根據服務器的壓力情況隨時增加或減少。

  爲了支持大容量,存儲節點(服務器)採用了分卷(或分組)的組織方式。存儲系統由一個或多個卷組成,卷與卷之間的文件是相互獨立的,所有卷的文件容量累加就是整個存儲系統中的文件容量。一個卷可以由一臺或多臺存儲服務器組成,一個卷下的存儲服務器中的文件都是相同的,卷中的多臺存儲服務器起到了冗餘備份和負載均衡的作用。

  在卷中增加服務器時,同步已有的文件由系統自動完成,同步完成後,系統自動將新增服務器切換到線上提供服務。

  當存儲空間不足或即將耗盡時,可以動態添加捲。只需要增加一臺或多臺服務器,並將它們配置爲一個新的卷,這樣就擴大了存儲系統的容量。

  FastDFS中的文件標識分爲兩個部分:卷名和文件名,二者缺一不可。

上傳交互過程

1. client詢問tracker上傳到的storage,不需要附加參數;

2. tracker返回一臺可用的storage;

3. client直接和storage通訊完成文件上傳。

下載交互過程

1. client詢問tracker下載文件的storage,參數爲文件標識(卷名和文件名);

2. tracker返回一臺可用的storage;

3. client直接和storage通訊完成文件下載。

需要說明的是,client爲使用FastDFS服務的調用方,client也應該是一臺服務器,它對tracker和storage的調用均爲服務器間的調用。

下載安裝 libfastcommon

libfastcommon是從 FastDFS 和 FastDHT 中提取出來的公共 C 函數庫,基礎環境, 安裝即可 。

1、進入/usr/local目錄 下載安裝包執行命令:
wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz

2、解壓

tar -zxvf libfastcommon-1.0.7.tar.gz 

3、編譯、安裝
進入剛剛解壓的目錄

cd libfastcommon-1.0.7


執行命令:

./make.sh
./make.sh install

 

如果遇見這個錯誤安裝依賴

yum -y install zlib zlib-devel pcre pcre-devel gcc gcc-c++ openssl openssl-devel libevent libevent-devel perl unzip net-tools wget  

4、 libfastcommon.so 安裝到了/usr/lib64/libfastcommon.so,但是FastDFS主程序設置的lib目錄是/usr/local/lib,所以需要創建軟鏈接。

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

下載安裝FastDFS

1、下載FastDFS
wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz
2、解壓

tar -zvxf fastdfs-5.05.tar.gz 
cd fastdfs-5.05

3、編譯、安裝

./make.sh
./make.sh install

FastDFS 服務腳本設置的 bin 目錄是 /usr/local/bin, 但實際命令安裝在 /usr/bin/ 下。
建立 /usr/bin 到 /usr/local/bin 的軟鏈接(這一步關係到後面某些命令的執行)。
  
 

ln -s /usr/bin/fdfs_trackerd /usr/local/bin
ln -s /usr/bin/fdfs_storaged /usr/local/bin
ln -s /usr/bin/stop.sh /usr/local/bin
ln -s /usr/bin/restart.sh /usr/local/bin

配置FastDFS跟蹤器(Tracker)

配置文件詳細說明參考:FastDFS 配置文件詳解

1、進入 /etc/fdfs,複製 FastDFS 跟蹤器樣例配置文件 tracker.conf.sample,並重命名爲 tracker.conf。
命令:

cd /etc/fdfs
cp tracker.conf.sample tracker.conf


2、 先在home文件夾下創建fastdfs目錄在創建後面要用到的四個目錄如圖:

mkdir -p /home/fastdfs/file
mkdir -p /home/fastdfs/client
mkdir -p /home/fastdfs/storage
mkdir -p /home/fastdfs/tracker

3、編輯tracker.conf ( vi tracker.conf),標紅的需要修改下,其它的默認即可。

配置文件是否不生效,false 爲生效
disabled=false

提供服務的端口(默認端口)
port=22122
Tracker 數據和日誌目錄地址(上面已經創建)
base_path=/home/fastdfs/tracker
HTTP 服務端口
http.server_port=80(默認端口需和nginx等保持一致)

4、啓動Tracker
初次成功啓動,會在 /home/fdfsdfs/tracker/ (配置的base_path)下創建 data、logs 兩個目錄。
命令:

/etc/init.d/fdfs_trackerd start


啓動後目錄如圖:

查看 FastDFS Tracker 是否已成功啓動 ,22122端口正在被監聽,則算是Tracker服務安裝成功。
命令:
netstat -unltp|grep fdfs


安裝成功結果:
關閉Tracker命令:
service fdfs_trackerd stop

配置 FastDFS 存儲 (Storage)


1、進入 /etc/fdfs 目錄,複製 FastDFS 存儲器樣例配置文件 storage.conf.sample,並重命名爲 storage.conf
命令:

cd /etc/fdfs
cp storage.conf.sample storage.conf

2、編輯storage.conf( vi storage.conf)

配置文件是否不生效,false 爲生效
disabled=false

指定此 storage server 所在 組(卷)
group_name=group1

storage server 服務端口
port=23000

心跳間隔時間,單位爲秒 (這裏是指主動向 tracker server 發送心跳)
heart_beat_interval=30

Storage 數據和日誌目錄地址(前面已經創建)
base_path=/home/fastdfs/storage

存放文件時 storage server 支持多個路徑。這裏配置存放文件的基路徑數目,通常只配一個目錄。
store_path_count=1

逐一配置 store_path_count 個路徑,索引號基於 0。
如果不配置 store_path0,那它就和 base_path 對應的路徑一樣。
store_path0=/home/fastdfs/file

FastDFS 存儲文件時,採用了兩級目錄。這裏配置存放文件的目錄個數。
如果本參數只爲 N(如: 256),那麼 storage server 在初次運行時,會在 store_path 下自動創建 N * N 個存放文件的子目錄。
subdir_count_per_path=256

tracker_server 的列表 ,會主動連接 tracker_server
有多個 tracker server 時,每個 tracker server 寫一行
tracker_server=ip:22122

允許系統同步的時間段 (默認是全天) 。一般用於避免高峯同步產生一些問題而設定。
sync_start_time=00:00
sync_end_time=23:59

訪問端口:
http.server_port=80(與ngnix和trackeSever的端口一致)

3、 啓動 Storage

啓動Storage前確保Tracker是啓動的(一定要確保tracker是啓動)。初次啓動成功,會在 /home/fastdfs/storage目錄下創建 data、 logs 兩個目錄。
命令:
/etc/init.d/fdfs_storaged start
啓動成功目錄:

關閉Storage命令:
service fdfs_storaged stop

4、 查看Storage和Tracker是否在通信:
命令:
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf


(仔細看裏面的結果,有助於理解)

配置客戶端

1、 修改 Tracker 服務器中的客戶端配置文件
命令:

cd /etc/fdfs
cp client.conf.sample client.conf


vi client.conf
修改如下配置即可,其它默認。

Client 的數據和日誌目錄
base_path=/home/fastdfs/client
Tracker端口

tracker_server=ip:22122(tracker地址)

2、上傳測試

在linux內部執行如下命令上傳 123.png 圖片(注意要進入圖片目錄)
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf 123.png
執行結果:

安裝Nginx(新版的FastDFS是不能直接訪問文件的,一定要配好ngnix)


1、安裝nginx所需環境  

gcc 安裝
yum install gcc-c++

PCRE pcre-devel 安裝
yum install -y pcre pcre-devel

zlib 安裝
yum install -y zlib zlib-devel

OpenSSL 安裝
yum install -y openssl openssl-devel

2、安裝Nginx
下載nginx
命令:
wget -c https://nginx.org/download/nginx-1.12.1.tar.gz

解壓
命令:
tar -zxvf nginx-1.12.1.tar.gz

編譯、安裝
使用默認配置
命令:

cd nginx-1.12.1
./configure
make
make install

3、關閉防火牆
centOS6及以前版本使用命令: systemctl stop iptables.service
centOS7關閉防火牆命令: systemctl stop firewalld.service
4、啓動nginx
命令:
/usr/local/nginx/sbin/nginx -s reload

5.直接在瀏覽器輸入IP查看ngnix是否啓動成功如圖


6.訪問文件
編輯ngnix.conf文件
命令:
vi /usr/local/nginx/conf/nginx.conf

添加如下行,將 /group1/M00 映射到 /lhome/fastdfs/file/data
location /group1/M00 {
alias /home/fastdfs/file/data;
}
訪問圖片(如圖):

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章