1.1 FastDFS简述
FastDFS是一款开源的轻量级分布式文件系统。纯C实现，支持Linux, FreeBSD等UNIX系统。类google FS, 不是通用的文件系统，只能够通过专有API访问，目前提供了C，Java和PHP API。为互联网应用量身定做，解决大容量文件存储问题，追求高性能和高扩展性。FastDFS可以看做是基于文件的key-value存储系统，称为分布式文件存储服务更为合适。
1.2 FastDFS提供的功能
（1）upload：上传普通文件，包括主文件
（2）upload_appender：上传appender文件，后续可以对其进行append操作
（3）upload_slave：上传从文件
（4）download：下载文件
（5）delete：删除文件
（6）append：在已有文件后追加内容
（7）set_metadata：设置文件附加属性
（8）get_metadata：获取文件附加属性
1.3 FastDFS的特点
（1）分组存储，灵活简洁
（2）对等结构，不存在单点
（3）文件ID由FastDFS生成，作为文件访问凭证。FastDFS不需要传统的name server
（4）和流行的web server无缝衔接，FastDFS已提供apache和nginx扩展模块
（5）大、中、小文件均可以很好支持，支持海量小文件存储
（6）支持多块磁盘，支持单盘数据恢复
（7）支持相同文件内容只保存一份，节省存储空间
（8）存储服务器上可以保存文件附加属性
（9）下载文件支持多线程方式，支持断点续传
1.4 FastDFS的安装
(1)下载
tracker和storage使用相同的安装包，下载地址：
http://sourceforge.net/projects/FastDFS/
或https://github.com/happyfish100/FastDFS（推荐）
本文档下载：FastDFS_v5.05.tar.gz
(2)安装libevent
FastDFS依赖libevent库,安装可以通过:
yum -y install libevent
(3)2.4. 安装libfastcommon
libfastcommon是FastDFS官方提供的，libfastcommon包含了FastDFS运行所需要的一些基础库。
|
将libfastcommonV1.0.7.tar.gz移动至/usr/local/下 [root@localhost ~]# mv libfastcommonV1.0.7.tar.gz /usr/local/
进入/usr/local/，解压libfastcommon [root@localhost local]# cd /usr/local/ [root@localhost local]# tar -zxvf libfastcommonV1.0.7.tar.gz
进入解压文件夹，编译，安装 [root@localhost local]# cd libfastcommon-1.0.7/ 编译： [root@localhost libfastcommon-1.0.7]# ./make.sh 安装： [root@localhost libfastcommon-1.0.7]# ./make.sh install 注意：libfastcommon安装好后会自动将库文件拷贝至/usr/lib64下，由于FastDFS程序引用usr/lib目录所以需要将/usr/lib64下的库文件拷贝至/usr/lib下。 [root@localhost libfastcommon-1.0.7]# cp /usr/lib64/libfastcommon.so /usr/lib/
|
(4)tracker编译安装
|
移动到/usr/local [root@localhost ~]# mv FastDFS_v5.05.tar.gz /usr/local/
解压 [root@localhost ~]# cd /usr/local/ [root@localhost local]# tar -zxvf FastDFS_v5.05.tar.gz
进入解压文件夹，编译，安装 [root@localhost local]# cd FastDFS 编译 [root@localhost FastDFS]# ./make.sh 安装 [root@localhost FastDFS]# ./make.sh install
安装成功后，将安装目录下的conf下的文件拷贝到/etc/fdfs/下。 [root@localhost FastDFS]# cd conf/ [root@localhost conf]# cp * /etc/fdfs/ 效果:
|
(5)配置
|
安装成功后进入/etc/fdfs目录： [root@localhost FastDFS]# cd /etc/fdfs/ 修改tracker.conf [root@localhost fdfs]# vim tracker.conf 把 base_path=/home/yuqing/fastdfs 改为： base_path=/home/fastdfs 创建fastdfs文件夹 [root@localhost fdfs]# mkdir /home/fastdfs
|
(6)启动
|
[root@localhost fdfs]# /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart 多次restart，启动日志显示先停止2952进程（实际环境可能不是2952）再启动，如下图： 如果没有显示上图要确认原有进程是否正常停止。
设置开机自动启动。 [root@localhost fdfs]# vim /etc/rc.d/rc.local 将运行命令行添加进文件：/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
|
(7)FastDFS--storage安装配置
|
安装成功后进入/etc/fdfs目录： [root@localhost FastDFS]# cd /etc/fdfs/ 修改storage.conf [root@localhost fdfs]# vim storage.conf base_path=/home/yuqing/fastdfs改为：base_path=/home/fastdfs store_path0=/home/yuqing/fastdfs改为：store_path0=/home/fastdfs/fdfs_storage #如果有多个挂载磁盘则定义多个store_path，如下 #store_path1=..... #store_path2=...... #如果有多个则配置多个tracker 创建fdfs_storage文件夹 [root@localhost fdfs]# mkdir /home/fastdfs/fdfs_storage
|
(8)启动
|
[root@localhost fdfs]# /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart 多次restart ，启动的日志显示先停止2071进程（实际环境可能不是2071）再启动，如下图： 如果没有显示上图要确认原有进程是否正常停止。
设置开机自动启动。 [root@localhost fdfs]# vim /etc/rc.d/rc.local 将运行命令行添加进文件：/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart |
6.5 FastDFS 和nginx整合
将FastDFS-nginx-module_v1.16.tar.gz传至/usr/local/下
[root@localhost ~]# mv fastdfs-nginx-module_v1.16.tar.gz /usr/local/
解压
[root@localhost ~]# cd /usr/local/
[root@localhost local]# tar -zxvf fastdfs-nginx-module_v1.16.tar.gz
编辑配置文件
[root@localhost local]# cd fastdfs-nginx-module/src/
修改config文件将/usr/local/路径改为/usr/
[root@localhost src]# vim config
|
|
将FastDFS-nginx-module/src下的mod_fastdfs.conf拷贝至/etc/fdfs/下
[root@localhost src]# cp mod_fastdfs.conf /etc/fdfs/
并修改mod_fastdfs.conf的内容：
[root@localhost src]# vim /etc/fdfs/mod_fastdfs.conf
base_path=/home/fastdfs
|
|
tracker_server=192.168.195.130:22122
#tracker_server=192.168.195.130:22122（多个tracker配置多行）
url_have_group_name=true #url中包含group名称
|
|
store_path0=/home/fastdfs/fdfs_storage #指定文件存储路径
|
|
将libfdfsclient.so拷贝至/usr/lib下
[root@localhost src]# cp /usr/lib64/libfdfsclient.so /usr/lib/
创建nginx/client目录
[root@localhost src]# mkdir -p /var/temp/nginx/client
1.6 nginx概述
Nginx是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。Nginx是由Igor Sysoev为俄罗斯访问量第二的Rambler.ru站点开发的，供俄国大型的入口网站及搜索引擎Rambler使用。第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。
Nginx特点是占有内存少， 并发能力强。中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。2011年6月1日，nginx1.0.4发布。
1.7 nginx安装
安装环境：
安装pcre库
yum -y install pcre-devel
安装zlib库
yum install -y zlib-devel
上传Nginx
本文章使用的是nginx-1.7.7.tar.gz
解压，并进入解压文件夹
[root@localhost ~]# tar -zxf nginx-1.7.7.tar.gz
[root@localhost ~]# cd nginx-1.7.7
添加fastdfs-nginx-module模块
执行以下命令
|
./configure \ --prefix=/usr/local/nginx \ --pid-path=/var/run/nginx/nginx.pid \ --lock-path=/var/lock/nginx.lock \ --error-log-path=/var/log/nginx/error.log \ --http-log-path=/var/log/nginx/access.log \ --with-http_gzip_static_module \ --http-client-body-temp-path=/var/temp/nginx/client \ --http-proxy-temp-path=/var/temp/nginx/proxy \ --http-fastcgi-temp-path=/var/temp/nginx/fastcgi \ --http-uwsgi-temp-path=/var/temp/nginx/uwsgi \ --http-scgi-temp-path=/var/temp/nginx/scgi \ --add-module=/usr/local/fastdfs-nginx-module/src 配置成功
|
编译并安装
[root@localhost nginx-1.7.7]# make
[root@localhost nginx-1.7.7]# make install
1.8 nginx配置文件
修改Nginx配置文件
[root@localhost nginx-1.7.7]# vim /usr/local/nginx/conf/nginx.conf
添加server:
|
server { listen 80; server_name 192.168.195.130;
location /group1/M00/{ ngx_fastdfs_module; } }
|
说明：
server_name指定本机ip
location /group1/M00/：group1为nginx 服务FastDFS的分组名称，M00是FastDFS自动生成编号，对应store_path0=/home/fastdfs/fdfs_storage，如果FastDFS定义store_path1，这里就是M01
1.9 启动
启动Nginx
[root@localhost nginx-1.7.7]# /usr/local/nginx/sbin/nginx
设置开机自动启动。
[root@localhost fdfs]# vim /etc/rc.d/rc.local
将运行命令行添加进文件：/usr/local/nginx/sbin/nginx
|
|
关闭防火墙
[root@localhost nginx-1.7.7]# service iptables stop
设置防火墙不自动启动
[root@localhost ~]# chkconfig iptables off