FastDFS搭建文件管理系統(詳細教程)

一 FastDFS介紹

開源中國：https://www.oschina.net/question/tag/fastdfs
gitHub開源地址：https://github.com/happyfish100
參考：http://blog.chinaunix.net/uid-20196318-id-4058561.html

1.1 簡介

FastDFS 是一個開源的高性能分佈式文件系統（Distributed File System），由淘寶開發平臺部資深架構師餘慶開發。作爲一個分佈式文件系統，它對文件進行管理，主要功能包括功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，主要解決了海量數據存儲問題，特別適合以中小文件（建議範圍：4KB < file_size <500MB）爲載體的在線服務。

FastDFS 系統有三個角色：跟蹤服務器(Tracker Server)、存儲服務器(Storage Server)和客戶端(Client)。

Tracker Server：FastDFS的協調者，起到均衡的作用；負責管理所有的 storage server和 group，每個 storage 在啓動後會連接 Tracker，告知自己所屬 group 等信息，並保持週期性心跳，tracker根據storage的心跳信息，建立group==>[storage serverlist]的映射表。
Storage Server：存儲服務器，主要提供容量和備份服務；以組（卷，group或volume）爲單位組織，一個group內包含多臺storage機器，數據互爲備份，存儲空間以group內容量最小的storage爲準，所以建議group內的多個storage儘量配置相同，以免造成存儲空間的浪費。
Client：客戶端，作爲業務請求的發起方，通過專有接口，使用TCP/IP協議與跟蹤器服務器或存儲節點進行數據交互，就是我們項目所部署在的服務器。

1.2 FastDFS架構圖

1.3 FastDFS的存儲策略

爲了支持大容量，存儲節點（服務器）採用了分卷（或分組）的組織方式。存儲系統由一個或多個卷組成，卷與卷之間的文件是相互獨立的，所有卷的文件容量累加就是整個存儲系統中的文件容量。一個卷可以由一臺或多臺存儲服務器組成，一個卷下的存儲服務器中的文件都是相同的，卷中的多臺存儲服務器起到了冗餘備份和負載均衡的作用。

在卷中增加服務器時，同步已有的文件由系統自動完成，同步完成後，系統自動將新增服務器切換到線上提供服務。當存儲空間不足或即將耗盡時，可以動態添加捲。只需要增加一臺或多臺服務器，並將它們配置爲一個新的卷，這樣就擴大了存儲系統的容量。

1.4 FastDFS的上傳過程

FastDFS向使用者提供基本文件訪問接口，比如upload、download、append、delete等，以客戶端庫的方式提供給用戶使用。

Storage Server會定期的向Tracker Server發送自己的存儲信息。當Tracker Server Cluster中的Tracker Server不止一個時，各個Tracker之間的關係是對等的，所以客戶端上傳時可以選擇任意一個Tracker。

當Tracker收到客戶端上傳文件的請求時，會爲該文件分配一個可以存儲文件的group，當選定了group後就要決定給客戶端分配group中的哪一個storage server。當分配好storage server後，客戶端向storage發送寫文件請求，storage將會爲文件分配一個數據存儲目錄。然後爲文件分配一個fileid，最後根據以上的信息生成文件名存儲文件。如下圖所示：

1.5 FastDFS的文件同步

寫文件時，客戶端將文件寫至group內一個storage server即認爲寫文件成功，storage server寫完文件後，會由後臺線程將文件同步至同group內其他的storage server。

每個storage寫文件後，同時會寫一份binlog，binlog裏不包含文件數據，只包含文件名等元信息，這份binlog用於後臺同步，storage會記錄向group內其他storage同步的進度，以便重啓後能接上次的進度繼續同步；進度以時間戳的方式進行記錄，所以最好能保證集羣內所有server的時鐘保持同步。

storage的同步進度會作爲元數據的一部分彙報到tracker上，tracke在選擇讀storage的時候會以同步進度作爲參考。

比如一個group內有A、B、C三個storage server，A向C同步到進度爲T1 (T1以前寫的文件都已經同步到B上了），B向C同步到時間戳爲T2（T2 > T1)，tracker接收到這些同步進度信息時，就會進行整理，將最小的那個做爲C的同步時間戳，本例中T1即爲C的同步時間戳爲T1（即所有T1以前寫的數據都已經同步到C上了）；同理，根據上述規則，tracker會爲A、B生成一個同步時間戳。

1.6 FastDFS的文件下載

客戶端uploadfile成功後，會拿到一個storage生成的文件名，接下來客戶端根據這個文件名即可訪問到該文件。

跟upload file一樣，在downloadfile時客戶端可以選擇任意tracker server。tracker發送download請求給某個tracker，必須帶上文件名信息，tracke從文件名中解析出文件的group、大小、創建時間等信息，然後爲該請求選擇一個storage用來服務讀請求

二 FastDFS 環境安裝

2.1 準備

操作環境CentOS 6.4

將所有的下載文件到放到package包下，統一管理

2.2 下載安裝 libfastcommon

1.下載libfastcommon

# wget https://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz

2.解壓文件

# tar -zxvf V1.0.38.tar.gz
# cd libfastcommon-1.0.38

3.編譯安裝

# ./make.sh
# ./make.sh install

4.編譯通過後，libfastcommon.so安裝到了/usr/lib64下，在32位中會安裝在/usr/lib/中，在64位會在/usr/lib64/

5.創建軟鏈接，因爲FastDFS主程序設置的lib目錄是/usr/local/lib，所以需要我們創建軟鏈接

# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
# ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
# ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
# ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

2.3 下載安裝FastDFS

1 下載FastDFS

# wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz

2 解壓

# tar -zxvf V5.11.tar.gz
# cd fastdfs-5.11

3 編譯安裝

# ./make.sh
# ./make.sh install

4 默認安裝目錄

服務腳本：cd /etc/init.d目錄

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_tracker

配置文件： cd /etc/fdfs，有四個.sample後綴的文件（自動生成的fdfs模板配置文件）

/etc/fdfs/client.conf.sample
/etc/fdfs/storage.conf.sample
/etc/fdfs/storage_ids.conf.sample
/etc/fdfs/tracker.conf.sample

命令腳本：

fdfs_appender_test
fdfs_appender_test1
fdfs_append_file
fdfs_crc32
fdfs_delete_file
fdfs_download_file
fdfs_file_info
fdfs_monitor
fdfs_storaged
fdfs_test
fdfs_test1
fdfs_trackerd
fdfs_upload_appender
fdfs_upload_file
stop.sh
restart.sh

也可以查看可執行命令：ls -la /usr/bin/fdfs*

-rwxr-xr-x. 1 root root  317480 10月  9 09:48 /usr/bin/fdfs_appender_test
-rwxr-xr-x. 1 root root  317256 10月  9 09:48 /usr/bin/fdfs_appender_test1
-rwxr-xr-x. 1 root root  304104 10月  9 09:48 /usr/bin/fdfs_append_file
-rwxr-xr-x. 1 root root  303808 10月  9 09:48 /usr/bin/fdfs_crc32
-rwxr-xr-x. 1 root root  304144 10月  9 09:48 /usr/bin/fdfs_delete_file
-rwxr-xr-x. 1 root root  304904 10月  9 09:48 /usr/bin/fdfs_download_file
-rwxr-xr-x. 1 root root  304496 10月  9 09:48 /usr/bin/fdfs_file_info
-rwxr-xr-x. 1 root root  322400 10月  9 09:48 /usr/bin/fdfs_monitor
-rwxr-xr-x. 1 root root 1111520 10月  9 09:48 /usr/bin/fdfs_storaged
-rwxr-xr-x. 1 root root  327384 10月  9 09:48 /usr/bin/fdfs_test
-rwxr-xr-x. 1 root root  326592 10月  9 09:48 /usr/bin/fdfs_test1
-rwxr-xr-x. 1 root root  453848 10月  9 09:48 /usr/bin/fdfs_trackerd
-rwxr-xr-x. 1 root root  305096 10月  9 09:48 /usr/bin/fdfs_upload_appender
-rwxr-xr-x. 1 root root  306120 10月  9 09:48 /usr/bin/fdfs_upload_file

5 設置腳本軟鏈接
FastDFS 服務腳本設置的 bin 目錄是 /usr/local/bin，但實際命令安裝在 /usr/bin/ 下

可以通過建立 /usr/bin 到 /usr/local/bin 的軟鏈接

# ln -s /usr/bin/fdfs_trackerd   /usr/local/bin
# ln -s /usr/bin/fdfs_storaged   /usr/local/bin
# ln -s /usr/bin/stop.sh         /usr/local/bin
# ln -s /usr/bin/restart.sh      /usr/local/bin

2.4 配置Tracker服務

1、進入/etc/fdfs目錄，通過cp命令複製tracker.conf.sample，重命名爲：tracker.con(刪除.sample後綴)，作爲正式文件

# cd /etc/fdfs/
# cp tracker.conf.sample  tracker.conf
# vi tracker.conf

2、編輯tracker.conf：vi tracker.conf，修改相關參數（只需要修改： base_path 和 http.server_port 即可）


# 提供服務的端口，默認：22122
port=22122

# Tracker 存儲data和log的根路徑，根目錄必須存在,子目錄會自動創建
base_path=/home/lyy/fastdfs


# http端口，需要和nginx相同
http.server_port=80

3、創建tracker基礎數據目錄，即base_path對應的目錄

mkdir -p /home/lyy/fastdfs

4、開放 22122 端口

# vi /etc/sysconfig/iptables

添加如下端口行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

重啓防火牆：
# service iptables restart

5、啓動tracker（支持start|stop|restart）：

可以用這種方式啓動
# /etc/init.d/fdfs_trackerd start

也可以用這種方式啓動，前提是上面創建了軟鏈接
# service fdfs_trackerd start

成功啓動後，會在 /home/lyy/fastdfs(配置的base_path)下創建 data、logs 兩個目錄。

6 、查看啓動日誌
進入剛剛指定的base_path(/home/lyy/fastdfs)中有個logs目錄，查看tracker.log文件

7、查看端口情況

netstat -apn|grep fdfs

如果22122端口正在被監聽，則Tracker服務安裝成功，如下圖所示：

Tracker 關閉命令：service fdfs_trackerd stop

8、設置Tracker開機啓動

# chkconfig fdfs_trackerd on

或者：
# vi /etc/rc.d/rc.local
加入配置：
/etc/init.d/fdfs_trackerd start

2.5 配置Storage服務

1、進入/etc/fdfs目錄，有cp命令拷貝storage.conf.sample，重命名爲 storage.conf（刪除.sample）後綴作爲正式文件

# cd /etc/fdfs/
# cp storage.conf.sample storage.conf
# vi storage.conf

2、編輯storage.conf，修改相關參數(base_path、store_path0、tracker_server、http.server_port)

# 配置文件是否不生效，false 爲生效
disabled=false 

# 指定此 storage server 所在 組(卷)
group_name=group1

# storage server 服務端口，storge默認23000
port=23000

# 心跳間隔時間，單位爲秒 (這裏是指主動向 tracker server 發送心跳)
heart_beat_interval=30

# 存儲路徑個數，需要和store_path個數匹配
store_path_count=1

# storage存儲data和log的跟路徑，必須提前創建好
base_path=/home/lyy/storage/fastdfs

# 如果爲空，則使用base_path
store_path0=/home/lyy/storage/file

#如果本參數只爲 N（如： 256），那麼 storage server 在初次運行時，會在 store_path 下自動創建 N * N 個存放文件的子目錄
subdir_count_per_path=256

# 配置該storage監聽的tracker的ip和port
#有多個 tracker server 時，每個 tracker server 寫一行
tracker_server=192.168.50.198:22122

# 允許系統同步的時間段 (默認是全天) 。一般用於避免高峯同步產生一些問題而設定。
sync_start_time=00:00
sync_end_time=23:59

#訪問端口
http.server_port=80

3、創建Storage基礎數據目錄，對應base_path目錄

# mkdir -p /home/lyy/storage/fastdfs

# 這是配置的store_path0路徑
# mkdir -p /home/lyy/storage/file

4、啓動 Storage

可以用這種方式啓動
# /etc/init.d/fdfs_storaged start

也可以用這種方式,我這裏用的是這種
# service fdfs_storaged start

5、查看Storage啓動日誌
查看storage啓動日誌：進入剛剛指定的base_path(/home/lyy/storage/fastdfs)中有個logs目錄，查看storage.log文件

6、查看端口情況：netstat -apn|grep fdfs

關閉Storage命令：service fdfs_storaged stop
重新啓動Storage命令：service fdfs_storaged restart

7、通過monitor來查看storage是否成功綁定，查看storage和Tracker是否通信成功

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

8、設置 Storage 開機啓動

# chkconfig fdfs_storaged on

或者：
# vi /etc/rc.d/rc.local
加入配置：
/etc/init.d/fdfs_storaged start

9、Storage 目錄
在 Tracker和Storage 啓動成功後，在base_path(/home/lyy/storage/file) 下創建了data、logs目錄，記錄 Storage Server 的信息。
在 store_path0 目錄下，創建了N*N個子目錄：

三安裝Nginx

1、下載Nginx安裝包：

# wget http://nginx.org/download/nginx-1.15.2.tar.gz

2、解壓nginx：

 # tar -zxvf nginx-1.12.1.tar.gz

3、進入nginx目錄

# cd nginx-1.15.2

4、安裝依賴庫

# yum update
# yum install libpcre3 libpcre3-dev openssl libssl-dev libperl-dev

5、配置nginx，加載fastdfs-nginx-module模塊

# ./configure

6、編譯安裝nginx

# make
# make install

7、查看nginx安裝路徑：whereis nginx

8、啓動停止：

# cd /usr/local/nginx/sbin/
# ./nginx 

其它命令
# ./nginx -s stop
# ./nginx -s quit
# ./nginx -s reload

9、設置開機啓動

# vi /etc/rc.local

添加一行：
/usr/local/nginx/sbin/nginx

# 設置執行權限
# chmod 755 rc.local

10、查詢nginx版本

/usr/local/nginx/sbin/nginx -V

11、防火牆中打開Nginx 80 端口

# vim /etc/sysconfig/iptables

添加如下端口行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT

重啓防火牆：
# service iptables restart

12、通過瀏覽器訪問nginx

查看nginx是否啓動成功，輸入我們的ip地址（我的是：192.168.50.198）默認是80端口，看到下圖所示說明nginx啓動成功：

四文件上傳測試

4.1 修改 nginx.conf文件

vi /usr/local/nginx/conf/nginx.conf

添加如下行，將 /group1/M00 映射到 /home/lyy/storage/file/data
   location /group1/M00 {
                alias  /home/lyy/storage/file/data;
        }

# 重啓nginx
# /usr/local/nginx/sbin/nginx -s reload

4.2 Tracker 服務器中的客戶端配置文件

1、修改配置clinet配置

# cd /etc/fdfs
# cp client.conf.sample client.conf
# vi client.conf

修改如下配置

# Client 的數據和日誌目錄
base_path=/home/lyy/client

# Tracker端口
tracker_server=192.168.50.198:22122

創建文件夾

mkdir -p /home/lyy/client

4.3 上傳測試

在linux內部執行如下命令上傳 1.jpg圖片

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf 1.jpg

成功後返回文件ID號：
group1/M00/00/00/wKgyxl2dfNWAG9cOAAOUD-69J7A524.jpg

組名：group1 
磁盤：M00 
目錄：00/00 
文件名稱：wKgyxl2dfNWAG9cOAAOUD-69J7A524.jpg

4.4 通過wget和瀏覽器方式訪問成功

瀏覽器
wget 方式

五安裝配置fastdfs-nginx-module模塊

5.1 fastdfs-nginx-module 模塊說明

FastDFS 通過 Tracker 服務器，將文件放在 Storage 服務器存儲，但是同組存儲服務器之間需要進行文件複製，有同步延遲的問題。

假設 Tracker 服務器將文件上傳到了 192.168.50.196，上傳成功後文件 ID已經返回給客戶端。

此時 FastDFS 存儲集羣機制會將這個文件同步到同組存儲 192.168.50.197，在文件還沒有複製完成的情況下，客戶端如果用這個文件 ID 在 192.168.50.197 上取文件,就會出現文件無法訪問的錯誤。

而 fastdfs-nginx-module 可以重定向文件鏈接到源服務器取文件，避免客戶端由於複製延遲導致的文件無法訪問錯誤。

5.2 安裝fastdfs-nginx-module安裝包

1、下載fastdfs-nginx-module安裝包

# 下載安裝包
wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz

# 解壓安裝包
tar -zxvf V1.20.tar.gz

2、配置Nginx

# 先停掉nginx服務
# /usr/local/nginx/sbin/nginx -s stop

進入nginx目錄
#  cd nginx-1.15.2

# 添加模塊
# ./configure --add-module=/usr/local/package/fastdfs-nginx-module-1.20/src

重新編譯、安裝
# make && make install

可能會報錯：
	編譯中斷。
	make[1]: *** [objs/addon/src/ngx_http_fastdfs_module.o] 錯誤 1
	make[1]: 離開目錄“/usr/local/package/nginx-1.15.2”
	make: *** [build] 錯誤 2

解決方法：
	修改fastdfs-nginx-module-1.20/src/config文件，然後重新從 ./configure 開始
	ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
	CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

3、查看nginx版本

/usr/local/nginx/sbin/nginx -V

如下圖所示，說明配置成功

5.3 配置Nginx和fastdfs-nginx-module模塊

1、配置mod-fastdfs.conf，並拷貝到/etc/fdfs文件目錄下

# cd /usr/local/package/fastdfs-nginx-module-1.20/src/

# cp mod_fastdfs.conf /etc/fdfs/

2、修改mod-fastdfs.conf

#  vi /etc/fdfs/mod_fastdfs.conf

修改以下配置：

# 連接超時時間
connect_timeout=10

# Tracker Server 的地址
tracker_server=192.168.50.198:22122

## url是否包含group名稱，設置爲true
url_have_group_name = true

# Storage 配置的store_path0路徑，須和storage.conf中的一致
store_path0=/home/lyy/storage/file

3、拷貝 FastDFS 解壓目錄中(anti-steal.jpg、http.conf、mime.types)到/etc/fdfs 目錄下

# cd /usr/local/package/fastdfs-5.11/conf/

#  cp anti-steal.jpg http.conf mime.types /etc/fdfs/

4、配置nginx，修改nginx.conf

 vi /usr/local/nginx/conf/nginx.conf

80端口下添加fastdfs-nginx模塊，將之前的的配置註釋掉

5、啓動nginx

/usr/local/nginx/sbin/nginx

6、通過wget和瀏覽器方式訪問成功

瀏覽器
wget 方式

結構圖（網上找的圖，不是原創）：

六 FastDFS 常用測試命令

6.1 - 上傳文件


#命令：
	/usr/bin/fdfs_upload_file  <config_file> <local_filename>
#案例：	
	/usr/bin/fdfs_upload_file  /etc/fdfs/client.conf 1.jpg
成功後返回文件ID號：
	group1/M00/00/00/wKgyxl2dfNWAG9cOAAOUD-69J7A524.jpg

6.2 - 下載文件

命令：
	/usr/bin/fdfs_download_file <config_file> <file_id> [local_filename]
案例：
	/usr/bin/fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/wKgyxl2dfNWAG9cOAAOUD-69J7A524.jpg

查看結果：

6.3 - 刪除文件

命令：
	/usr/bin/fdfs_delete_file <config_file> <file_id>
示例：
	/usr/bin/fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wKgyxl2dfNWAG9cOAAOUD-69J7A524.jpg

返回結果：

FastDFS搭建文件管理系統(詳細教程)

一 FastDFS介紹

1.1 簡介

1.2 FastDFS架構圖

1.3 FastDFS的存儲策略

1.4 FastDFS的上傳過程

1.5 FastDFS的文件同步

1.6 FastDFS的文件下載

二 FastDFS 環境安裝

2.1 準備

2.2 下載安裝 libfastcommon

2.3 下載安裝FastDFS

2.4 配置Tracker服務

2.5 配置Storage服務

三安裝Nginx

四文件上傳測試

4.1 修改 nginx.conf文件

4.2 Tracker 服務器中的客戶端配置文件

4.3 上傳測試

4.4 通過wget和瀏覽器方式訪問成功

五安裝配置fastdfs-nginx-module模塊

5.1 fastdfs-nginx-module 模塊說明

5.2 安裝fastdfs-nginx-module安裝包

5.3 配置Nginx和fastdfs-nginx-module模塊

六 FastDFS 常用測試命令

6.1 - 上傳文件

6.2 - 下載文件

6.3 - 刪除文件

Spring Cloud 部署時如何使用 Kubernetes 作爲註冊中心和配置中心

KubeKey 部署 K8s v1.28.8 實戰

深入淺出ReentrantLock(可重入鎖)

【併發編程】安全發佈對象—單例模式升級版

IDEA類和方法註釋模板設置（超詳細教程）

HTTP協議精準詳細介紹

數據結構線性結構篇——棧和隊列

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

FastDFS搭建文件管理系統(詳細教程)

一 FastDFS介紹

1.1 簡介

1.2 FastDFS架構圖

1.3 FastDFS的存儲策略

1.4 FastDFS的上傳過程

1.5 FastDFS的文件同步

1.6 FastDFS的文件下載

二 FastDFS 環境安裝

2.1 準備

2.2 下載安裝 libfastcommon

2.3 下載安裝FastDFS

2.4 配置Tracker服務

2.5 配置Storage服務

三 安裝Nginx

四 文件上傳測試

4.1 修改 nginx.conf文件

4.2 Tracker 服務器中的客戶端配置文件

4.3 上傳測試

4.4 通過wget和瀏覽器方式訪問成功

五 安裝配置fastdfs-nginx-module模塊

5.1 fastdfs-nginx-module 模塊說明

5.2 安裝fastdfs-nginx-module安裝包

5.3 配置Nginx和fastdfs-nginx-module模塊

六 FastDFS 常用測試命令

6.1 - 上傳文件

6.2 - 下載文件

6.3 - 刪除文件

三安裝Nginx

四文件上傳測試

五安裝配置fastdfs-nginx-module模塊