一、MogileFS簡介
MogileFS是一個開源的分佈式文件存儲系統,由LiveJournal旗下的Danga Interactive公司開發。Danga團隊開發了包括 Memcached、MogileFS、Perlbal 等多個知名的開源項目。目前使用MogileFS 的公司非常多,如日本排名先前的幾個互聯公司及國內的yupoo(又拍)、digg、豆瓣、1號店、大衆點評、搜狗和安居客等,分別爲所在的組織或公司管理着海量的圖片。
MogileFS由3個部分組成:
(1) server:主要包括mogilefsd和mogstored兩個應用程序。mogilefsd實現的是tracker,它通過數據庫來保存元數據信息,包括站點domain、class、host等;mogstored是存儲節點(store node),它其實是個WebDAV服務,默認監聽在7500端口,接受客戶端的文件存儲請求。在MogileFS安裝完後,要運行mogadm工具將所有的store node註冊到mogilefsd的數據庫裏,mogilefsd會對這些節點進行管理和監控。
(2) utils(工具集):主要是MogileFS的一些管理工具,例如mogadm等。
(3) 客戶端API:MogileFS的客戶端API很多,例如Perl、PHP、Java、Python等,用這個模塊可以編寫客戶端程序,實現文件的備份管理功能等。
具體的應用層特點:
應用層——沒有特殊的組件要求
無單點失敗——MogileFS啓動的三個組件(存儲節點、跟蹤器、跟蹤用的數據庫),均可運行在多個 機器上,因此沒有單點失敗。(你也可以將跟蹤器和存儲節點運行在同一臺機器上,這樣你就沒有必要用4臺機器)推薦至少兩臺機器。
自動的文件複製——文件是基於他們的“類”,文件可以自動的在多個存儲節點上覆制,這是爲了儘量少的複製,才使用“類”的。加入你有的圖片站點有三份JPEG圖片的拷貝,但實際只有1or2份拷貝,那麼Mogile可以重新建立遺失的拷貝數。用這種辦法,MogileFS(不做RAID)可以節約在磁盤,否則你將存儲同樣的拷貝多份,完全沒有必要。
“比RAID好多了”——在一個非存儲區域網絡的RAID(non-SAN RAID)的建立中,磁盤是冗餘的,但主機不是,如果你整個機器壞了,那麼文件也將不能訪問。 MogileFS在不同的機器之間進行文件複製,因此文件始終是可用的。
傳輸中立,
無特殊協議——MogileFS客戶端可以通過NFS或HTTP來和MogileFS的存儲節點來通信,但首先需要告知跟蹤器一下。
簡單的命名空間——文件通過一個給定的key來確定,是一個全局的命名空間。你可以自己生成多個命名空間,只要你願意,但是這樣可能在同一MogileFS中,會造成衝突key。
不用共享任何東西——MogileFS不需要依靠昂貴的SAN來共享磁盤,每個機器只用維護好自己的磁盤。
不需要RAID——在MogileFS中的磁盤可以是做了RAID的也可以是沒有,如果是爲了安全性着想的話RAID沒有必要買了,因爲MogileFS已經提供了。
不會碰到文件系統本身的不可知情況——在MogileFS中的存儲節點的磁盤可以被格式化成多種格式(ext3,reiserFS等等)。MogilesFS會做自己內部目錄的哈希,所以它不會碰到文件系統本身的一些限制,比如一個目錄中的最大文件數。
http://bbs.chinaunix.net/thread-1235868-1-1.html(具體的應用層特點)thanks: happy_fish100 http://www.csource.org/ big niu(大牛) 其寫的FastDFS
二,本次實驗用到的架構圖
node1 MariaDB10的解壓安裝這裏不再描述,請自行google
爲了與MogileFS與MySQL協同工作,需要在MySQL新建如下兩個用戶
grant all privileges on *.* to 'moguser'@'172.%.251.%' identified by 'mogpass'; grant all privileges on *.* to 'root'@'172.%.251.%' identified by 'root';
這裏着重介紹安裝MogileFS
node2安裝MogileFS安裝
查看安裝的軟件信息
[root@node2 mogilefs]# rpm -qa|grep -i mogilefs MogileFS-Utils-2.19-1.el6.noarch MogileFS-Server-mogilefsd-2.46-2.el6.noarch MogileFS-Server-mogstored-2.46-2.el6.noarch perl-MogileFS-Client-1.14-1.el6.noarch MogileFS-Server-2.46-2.el6.noarch [root@node2 mogilefs]# rpm -ql MogileFS-Server-mogilefsd /etc/mogilefs/mogilefsd.conf /etc/rc.d/init.d/mogilefsd /usr/bin/mogdbsetup /usr/bin/mogilefsd /usr/share/man/man1/mogilefsd.1.gz /usr/share/man/man3/MogileFS::Checksum.3pm.gz /usr/share/man/man3/MogileFS::Class.3pm.gz 。。。。。。。。。。。。。。。。。。。。。。。。 [root@node2 mogilefs]# rpm -ql MogileFS-Server-mogstored /etc/mogilefs/mogstored.conf /etc/rc.d/init.d/mogstored /usr/bin/mogautomount /usr/bin/mogstored /usr/share/man/man1/mogautomount.1.gz /usr/share/man/man1/mogstored.1.gz /usr/share/perl5/vendor_perl/Mogstored/ChildProcess /usr/share/perl5/vendor_perl/Mogstored/ChildProcess.pm 。。。。。。。。。。。。。。。。。。。。。。。。。。。。 [root@node2 mogilefs]# rpm -ql MogileFS-Utils /usr/bin/mogadm /usr/bin/mogdelete /usr/bin/mogfetch /usr/bin/mogfiledebug /usr/bin/mogfileinfo /usr/bin/moglistfids /usr/bin/moglistkeys /usr/bin/mogrename /usr/bin/mogstats /usr/bin/mogtool /usr/bin/mogupload 。。。。。。。。。。。。。。。。。。。
修改目錄權限,使用mogilefs用戶能夠有權限訪問
[root@node2 mogilefs]# chown -R mogilefs.mogilefs /var/run/mogilefsd/ [root@node2 mogilefs]# mkdir -pv /dfsdata/mogdata/dev2 ## dev# 此#號儘量與主機所在的節點號一致,便於區分理解如:node1,dev1;node2,dev2 [root@node2 mogilefs]# chown -R mogilefs.mogilefs /dfsdata/mogdata
在node2建立與node1上MySQL的連接
mogdbsetup --dbhost=172.16.251.21 --dbport=3306 --dbname=mogdb --dbrootuser=root --dbrootpass=root --dbuser=moguser --dbpass=mogpass --yes
修改配置文件/etc/mogilefs/mogilefsd.conf ,mogsotred.conf (配置成功的文件,也要同步到其它兩個節點上,node3,node4)
啓動mogilefsd mogstored 服務,並查看狀態
[root@node2 mogilefs]#service mogilefsd start [root@node2 mogilefs]#service mogstored start [root@node2 mogilefs]# ss -tunlp |grep mog tcp LISTEN 0 128 *:7500 *:* users:(("mogstored",7221,4)) tcp LISTEN 0 128 *:7501 *:* users:(("mogstored",7221,9)) tcp LISTEN 0 128 *:7001 *:* users:(("mogilefsd",3773,6)) [root@node2 mogilefs]#
注意以上mogileFS安裝步驟同樣也要在node3,node4節點上安裝一遍,切記不要再進行數據的初始化操作,原因是node2已經完成初始化,三個節點共享庫中的信息
接下來是具體的配置階段
增加自己本身爲trackers 和mogstored
[root@node2 mogilefs]# mogadm --trackers=172.16.251.22:7001 host add 172.16.251.22 --ip=172.16.251.22 --status=alive [root@node2 mogilefs]# mogadm --trackers=172.16.251.22:7001 host list 172.16.251.22 [1]: alive IP: 172.16.251.22:7500 [root@node2 mogilefs]# mogadm --trackers=172.16.251.22:7001 host add 172.16.251.23 --ip=172.16.251.23 --status=alive [root@node2 mogilefs]# mogadm --trackers=172.16.251.22:7001 host list 172.16.251.22 [1]: alive IP: 172.16.251.22:7500 172.16.251.23 [2]: alive IP: 172.16.251.23:7500 [root@node2 mogilefs]#
也可以在node3節點上,增加node4上的節點資源,如下
[root@node3 mogdata]# mogadm --trackers=172.16.251.23:7001 host list 172.16.251.22 [1]: alive IP: 172.16.251.22:7500 172.16.251.23 [2]: alive IP: 172.16.251.23:7500 [root@node3 mogdata]# mogadm --trackers=172.16.251.23:7001 host add 172.16.251.24 --ip=172.16.251.24 --status=alive [root@node3 mogdata]# mogadm --trackers=172.16.251.23:7001 host list 172.16.251.22 [1]: alive IP: 172.16.251.22:7500 172.16.251.23 [2]: alive IP: 172.16.251.23:7500 172.16.251.24 [3]: alive IP: 172.16.251.24:7500
查看整體的節點信息:
[root@node2 ~]# mogadm --trackers=172.16.251.22:7001 host list
增加更節點的設備
[root@node2 ~]# mogadm --trackers=172.16.251.22:7001 device add 172.16.251.22 1 [root@node2 ~]# mogadm --trackers=172.16.251.22:7001 device add 172.16.251.23 2 [root@node2 ~]# mogadm --trackers=172.16.251.22:7001 device add 172.16.251.24 3 [root@node2 ~]# mogadm --trackers=172.16.251.22:7001 device list
介紹mogileFS系統中的幾個概念
https://code.google.com/p/mogilefs/wiki/Glossary
domain
A domain is the top level separation of files. File keys are unique within domains. A domain consists of a set of classes that define the files within the domain. Examples of domains: fotobilder, livejournal.
域是頂層文件的分離。域內文件密鑰是獨一無二的。一個域由一組類定義文件的域。域的例子:fotobilder,livejournal
class
Every file is part of exactly one class. A class is part of exactly one domain. A class, in effect, specifies the minimum replica count of a file. Examples of classes: userpicture, userbackup, phonepost. Classes may have extra replication policies defined.
每個文件是一個類的一部分。一個類是一個域的一部分。實際上,類是指定文件的最小副本數。類的例子:userpicture、userbackup phonepost。類還可以定義額外的複製策略。
key
A key is a unique textual string that identifies a file. Keys are unique within domains. Examples of keys: userpicture:34:39, phonepost:93:3834, userbackup:15. Fake structures work too: /pics/hello.png, any string.
關鍵字是用唯一(unique)的,獨特的文本字符串來標識一個文件(可以理解爲變量名)。關鍵字領域內(全局)是獨一無二的。
minimum replica count (mindevcount)最小副本(複製)數量
This is a property of a class. This defines how many times the files in that class need to be replicated onto different devices in order to ensure redundancy among the data and prevent loss.
是類的屬性。此數值定義了類中多少數量的文件需要複製到不同的設備,以確保數據之間的冗餘和防止損失。
file
A file is a defined collection of bits uploaded to MogileFS to store. Files are replicated according to their minimum replica count. Each file has a key, is a part of one class, and is located in one domain. Files are the things that MogileFS stores for you.
文件上傳到MogileFS存儲。依據其最低副本數數量進行文件複製。每個文件都有一個關鍵字,是一個類的一部分,位於一個域。MogileFS提供文件
fid file identifier
A fid is an internal numerical representation of a file. Every file is assigned a unique fid. If a file is overwritten, it is given a new fid.
fid 是mogileFS內部表示一個文件的文件ID,且全局唯一,如果重寫,則將生成一新的fid
增加域(domain),類(class)
增加域(domain)
[root@node2 ~]# mogadm domain Help for 'domain' command: (enter any command prefix, leaving off options, for further help) mogadm domain add <domain> Add a domain (namespace) mogadm domain delete <domain> Delete a domain. mogadm domain list List all hosts. [root@node2 ~]# mogadm --trackers=172.16.251.22:7001 domain add images [root@node2 ~]# mogadm --trackers=172.16.251.22:7001 domain add files [root@node2 ~]# mogadm --trackers=172.16.251.22:7001 domain list
對應的域中增加類,並確定mindevcount
域中的默認類能刪除麼?答案是不能刪除的
完成的域,類的添加(到這裏可以理解爲:爲文件裝備的存放position(domain),numbers (class)),
上傳文件及顯示
在MogileFS系統中文件顯示
Nginx反向代理訪問MogileFS文件系統的設置與安裝
前端nginx的安裝與設置,要想Nginx代理訪問mogileFS文件系統中的文件,要安裝nginx-mogile插件,下面介紹安裝的軟件具體版本
解壓文件並安裝,注:安裝時加載第三方插件的安裝方式,
[root@node5 mogilefs]#useradd -r nginx [root@node5 mogilefs]#./configure --prefix=/usr --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-pcre --with-debug --add-module=../nginx-mogilefs-module-master
安裝服務配置腳本
[root@node5 mogilefs]#vim /etc/rc.d/init.d/nginx #!/bin/sh # # nginx - this script starts and stops the nginx daemon # # chkconfig: - 85 15 # description: Nginx is an HTTP(S) server, HTTP(S) reverse \ # proxy and IMAP/POP3 proxy server # processname: nginx # config: /etc/nginx/nginx.conf # config: /etc/sysconfig/nginx # pidfile: /var/run/nginx.pid # Source function library. . /etc/rc.d/init.d/functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ "$NETWORKING" = "no" ] && exit 0 nginx="/usr/sbin/nginx" prog=$(basename $nginx) NGINX_CONF_FILE="/etc/nginx/nginx.conf" [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx lockfile=/var/lock/subsys/nginx make_dirs() { # make required directories user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -` options=`$nginx -V 2>&1 | grep 'configure arguments:'` for opt in $options; do if [ `echo $opt | grep '.*-temp-path'` ]; then value=`echo $opt | cut -d "=" -f 2` if [ ! -d "$value" ]; then # echo "creating" $value mkdir -p $value && chown -R $user $value fi fi done } start() { [ -x $nginx ] || exit 5 [ -f $NGINX_CONF_FILE ] || exit 6 make_dirs echo -n $"Starting $prog: " daemon $nginx -c $NGINX_CONF_FILE retval=$? echo [ $retval -eq 0 ] && touch $lockfile return $retval } stop() { echo -n $"Stopping $prog: " killproc $prog -QUIT retval=$? echo [ $retval -eq 0 ] && rm -f $lockfile return $retval } restart() { configtest || return $? stop sleep 1 start } reload() { configtest || return $? echo -n $"Reloading $prog: " killproc $nginx -HUP RETVAL=$? echo } force_reload() { restart } configtest() { $nginx -t -c $NGINX_CONF_FILE } rh_status() { status $prog } rh_status_q() { rh_status >/dev/null 2>&1 } case "$1" in start) rh_status_q && exit 0 $1 ;; stop) rh_status_q || exit 0 $1 ;; restart|configtest) $1 ;; reload) rh_status_q || exit 7 $1 ;; force-reload) force_reload ;; status) rh_status ;; condrestart|try-restart) rh_status_q || exit 0 ;; *) echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}" exit 2 esac # chmod +x /etc/rc.d/init.d/nginx # chkconfig --add nginx # chkconfig nginx on # service nginx start
編輯配置文件/etc/nginx/nginx.conf 如下所示
[root@node5 nginx]# grep -v "^[[:space:]].*#" nginx.conf |grep -v "^#" |grep -v "^$" worker_processes 1; error_log /var/log/nginx_error.log notice; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; upstream mogileserver { server 172.16.251.22:7001; server 172.16.251.23:7001; server 172.16.251.24:7001; } server { listen 80; server_name localhost; location / { root html; index index.html index.htm; } location ~* ^(/images/.*)$ { mogilefs_tracker mogileserver; mogilefs_domain images; mogilefs_pass $1 { proxy_pass $mogilefs_path; proxy_hide_header Content-Type; proxy_buffering off; } } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } }
測試文件瀏覽
擴展以上的系統
之前的系統容易出現單點故障(nginx),現在增加一臺nginx,生產中應該是增加一臺物理機,
下面一一介紹具體配置
node4上安裝nginx,具體安裝,不再描述,node4,node5上的nginx監聽端口修改爲8080,nginx配置如下(node4,node5)一模一樣
[root@node5 nginx]# grep -v "^[[:space:]].*#" nginx.conf |grep -v "^#" |grep -v "^$" worker_processes 1; error_log /var/log/nginx_error.log notice; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; upstream mogileserver { server 172.16.251.22:7001; server 172.16.251.23:7001; server 172.16.251.24:7001; } server { listen 8080; server_name localhost; location / { root html; index index.html index.htm; } location ~* ^(/images/.*)$ { mogilefs_tracker mogileserver; mogilefs_domain images; mogilefs_pass $1 { proxy_pass $mogilefs_path; proxy_hide_header Content-Type; proxy_buffering off; } } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } }
node5上 haproxy配置文件如下;
[root@node5 haproxy]# grep -v "^[[:space:]].*#" haproxy.cfg |grep -v "^#" |grep -v "^$" global log 127.0.0.1 local2 chroot /var/lib/haproxy pidfile /var/run/haproxy.pid maxconn 4000 user haproxy group haproxy daemon stats socket /var/lib/haproxy/stats defaults mode http log global option httplog option dontlognull option http-server-close option forwardfor except 127.0.0.0/8 option redispatch retries 3 timeout http-request 10s timeout queue 1m timeout connect 10s timeout client 1m timeout server 1m timeout http-keep-alive 10s timeout check 10s maxconn 3000 frontend webservers bind *:80 acl url_static path_beg -i /images acl url_static path_end -i .jpg .gif .png use_backend static if url_static backend static balance roundrobin server node4 172.16.251.25:8080 check server node5 172.16.251.24:8080 check
啓動node5上的haproxy,nginx,node4上的nginx 如下圖:
接下來就可以測試
測試過程,停掉其中一臺nginx服務,再進行圖片的訪問,成功!