批量同步、批量更新,這應該是做運維的朋友們經常做的工作,rsync是linux下一款非常強大的同步工具,採用差異同步的方法,只上傳文件/文件夾的不同部分,同時可以對上傳部分先進行壓縮,所以rsync的傳輸效率是很高的但rsync也有缺點,最大的問題就是每次執行rsync命令都會遍歷目標目錄,當文件不多時,這沒什麼問題,一旦文件數到了一定規模,那麼每次遍歷都會消耗很多資源,如果只對經常改動的目錄進行同步,也可以忽略這個問題,如果每次改動的目錄多較大,那麼就要用到inotify了,Inotify是一種強大的、細粒度的、異步的文件系統事件監控機制,Linux內核從2.6.13起,加入了對Inotify的支持,通過Inotify可以監控文件系統中的添加、刪除、修改、移動等各種事件,但inotify只提供了C語言接口,不方便調用,所以我們需要先安裝inotify-tools
一、系統環境:
CentOS_5.7-x86_64
更新源服務器:172.16.9.227
目的服務器:172.16.9.226 172.16.9.228 ...
二、目的服務器配置:172.16.9.226 172.16.9.228(rsync服務端):
1、檢查rsync是否安裝
rpm -qa|grep rsync
如果沒有發裝,執以下命令進行安裝
yum -y install rsync
2、定義rsync配置文件/etc/rsyncd.conf
172.16.9.226:
cat >> /etc/rsyncd.conf << EOF uid = www gid = www incoming chmod = Du=rwx,Dog=rx,Fu=rwx,Fgo=rx use chroot = no max connections = 100 timeout = 600 pid file = /var/run/rsyncd.pid lock file = /var/run/rsyncd.lock log file = /var/log/rsyncd.log [test] path = /data/test/ ignore errors read only = no list = no hosts allow = 172.16.9.227 auth users = rsync secrets file = /etc/rsync.pwd EOF
172.16.9.228:
cat >> /etc/rsyncd.conf << EOF uid = www gid = www incoming chmod = Du=rwx,Dog=rx,Fu=rwx,Fgo=rx use chroot = no max connections = 100 timeout = 600 pid file = /var/run/rsyncd.pid lock file = /var/run/rsyncd.lock log file = /var/log/rsyncd.log [test] path = /data/test/ ignore errors read only = no list = no hosts allow = 172.16.9.227 auth users = rsync secrets file = /etc/rsync.pwd EOF
3、rsyncd.conf配置文件詳解
uid = www //運行RSYNC守護進程的用戶
gid = www //運行RSYNC守護進程的組
use chroot = 0 //不使用chroot
max connections = 0 // 最大連接數,0爲不限制
port = 873 //默認端口873
incoming chmod = Du=rwx,Dog=rx,Fu=rwx,Fgo=rx //強制把同步以後的目錄權限改爲755
下面這些文件是安裝完RSYNC服務後自動生成的文件
pid file = /var/run/rsyncd.pid //pid文件的存放位置
lock file = /var/run/rsync.lock //鎖文件的存放位置.指定支持max connections參數的鎖文件,默認值是/var/run/rsyncd.lock.
log file = /var/log/rsyncd.log //日誌記錄文件的存放位置
Timeout = 300
通過該選項可以覆蓋客戶指定的IP超時時間.通過該選項可以確保rsync服務器不會永遠等待一個崩潰的客戶端.超時單位爲秒鐘,0表示沒有超時定義,這也是默認值.對於匿名rsync服務器來說,一個理想的數字是600.
Log format = %t %a %m %f %b
通過該選項用戶在使用transfer logging可以自己定製日誌文件的字段.其格式是一個包含格式定義符的字符串,可以使用的格式定義符如下所示:
%h 遠程主機名
%a 遠程IP地址
%l 文件長度字符數
%p 該次rsync會話的進程id
%o 操作類型:" send" 或" recv"
%f 文件名
%P 模塊路徑
%m 模塊名
%t 當前時間
%u 認證的用戶名(匿名時是null)
%b 實際傳輸的字節數
%c 當發送文件時,該字段記錄該文件的校驗碼
默認log格式爲:" %o %h [%a] %m (%u) %f %l" ,一般來說,在每行的頭上會添加" %t [%p] " .在源代碼中同時發佈有一個叫rsyncstats的perl腳本程序來統計這種格式的日誌文件.
#transfer logging = yes
使rsync服務器使用ftp格式的文件來記錄下載和上載操作在自己單獨的日誌中.
syslog facility = local3
指定rsync發送日誌消息給syslog時的消息級別,常見的消息級別是:uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.默認值是daemon.
模塊參數
[web1] //這裏是認證的模塊名,在client端需要指定
path = /data/www1/ //需要做鏡像的目錄,不可缺少!
comment = backup web //這個模塊的註釋信息
ignore errors //可以忽略一些無關的IO錯誤
read only = yes //該選項設定是否允許客戶上載文件.如果爲true那麼任何上載請求都會失敗,如果爲false並且服務器目錄讀寫權限允許那麼上載是允許的.默認值爲true.
list = no //不允許列文件
auth users = bak //認證的用戶名,如果沒有這行則表明是匿名,此用戶與系統無關
該選項指定由空格或逗號分隔的用戶名列表,只有這些用戶才允許連接該模塊.這裏的用戶和系統用戶沒有任何關係.如果" auth users" 被設置,那麼客戶端發出對該模塊的連接請求以後會被rsync請求challenged進行驗證身份這裏使用的challenge/response認證協議.用戶的名和密碼以明文方式存放在" secrets file" 選項指定的文件中.默認情況下無需密碼就可以連接模塊(也就是匿名方式).
secrets file = /etc/www1.pwd //密碼和用戶名對比表,密碼文件自己生成
該選項指定一個包含定義用戶名:密碼對的文件.只有在" auth users" 被定義時,該文件纔有作用.文件每行包含一個username:passwd對.一般來說密碼最好不要超過8個字符.沒有默認的secures file名,需要限式指定一個(例如:/etc/rsyncd.passwd).注意:該文件的權限一定要是600,否則客戶端將不能連接服務器.
hosts allow = 172.16.9.0/255.255.255.0 //允許主機或網段
該選項指定哪些IP的客戶允許連接該模塊.客戶模式定義可以是以下形式:
單個IP地址,例如:172.16.9.227
整個網段,例如:172.16.9.0/24,也可以是172.16.9.0/255.255.255.0
多個IP或網段需要用空格隔開,“*”則表示所有,默認是允許所有主機連接.
hosts deny = 0.0.0.0/0 //禁止主機
4、建立認證文件/etc/www1.pwd ,此文件須與配置文件中指定文件名保持一致
此處格式爲:username:password,安全問題,並不建議實際使用中使用root用戶
172.16.9.226:
echo "rsync:w28ui9e3r4t5" >> /etc/rsync.pwd
172.16.9.228:
echo "rsync:w28ui9e3r4t5" >> /etc/rsync.pwd
並且我們需要設置此文件的權限爲600
chmod 600 /etc/rsync.pwd chmod 600 /etc/rsyncd.conf
5、建立motd文件(可有可無)
#rsyncd.motd記錄了rsync服務的歡迎信息,你可以在其中輸入任何文本信息,如:
echo "Welcome to use the rsync services!" >> /var/rsyncd.motd
6、啓動rsync
/usr/bin/rsync --daemon echo "/usr/bin/rsync --daemon" >> /etc/rc.local
三、更新源服務器配置:172.16.9.227 (rsync客戶端)
1、inotify 可以監視的文件系統事件包括:
IN_ACCESS,即文件被訪問
IN_MODIFY,文件被 write
IN_ATTRIB,文件屬性被修改,如 chmod、chown、touch 等
IN_CLOSE_WRITE,可寫文件被 close
IN_CLOSE_NOWRITE,不可寫文件被 close
IN_OPEN,文件被 open
IN_MOVED_FROM,文件被移走,如 mv
IN_MOVED_TO,文件被移來,如 mv、cp
IN_CREATE,創建新文件
IN_DELETE,文件被刪除,如 rm
IN_DELETE_SELF,自刪除,即一個可執行文件在執行時刪除自己
IN_MOVE_SELF,自移動,即一個可執行文件在執行時移動自己
IN_UNMOUNT,宿主文件系統被 umount
IN_CLOSE,文件被關閉,等同於(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
IN_MOVE,文件被移動,等同於(IN_MOVED_FROM | IN_MOVED_TO)
注:上面所說的文件也包括目錄。
2、安裝inotify-tools
在安裝inotify-tools前請先確認你的linux內核是否打到了2.6.13,並且在編譯時開啓了CONFIG_INOTIFY選項,也可以通過以下命令檢測
ls /proc/sys/fs/inotify
如果有 max_queued_events,max_user_instances,max_user_watches 三項就說明支持
wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz tar xvf inotify-tools-3.14.tar.gz cd inotify-tools-3.14 ./configure make;make install
3、編寫rsync監控腳本
vi /root/rsync.sh
#!/bin/bash ip1=172.16.9.226 #目標服務器1 ip1=172.16.9.228 #目標服務器2 inwt=/usr/local/bin/inotifywait rsync=/usr/bin/rsync src=/data/test/ des=test user=rsync rsync_passwd_file=/etc/rsync.pwd cd ${src} $inwt -mrq --format '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ./ | while read file do INO_EVENT=$(echo $file | awk '{print $1}') INO_FILE=$(echo $file | awk '{print $2}') echo "-------------------------------$(date)------------------------------------" echo $file if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]] then echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO' rsync -avzcR --password-file=${rsync_passwd_file} --log-file='/tmp/test.log' --log-file-format='%t %f %b' $(dirname ${INO_FILE}) ${user}@${ip1}::${des} && rsync -avzcR --password-file=${rsync_passwd_file} --log-file='/tmp/test.log' --log-file-format='%t %f %b' $(dirname ${INO_FILE}) ${user}@${ip2}::${des} fi if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]] then echo 'DELETE or MOVED_FROM' rsync -avzR --delete --password-file=${rsync_passwd_file} --log-file='/tmp/test.log' --log-file-format='%t %f %b' $(dirname ${INO_FILE}) ${user}@${ip1}::${des} && rsync -avzR --delete --password-file=${rsync_passwd_file} --log-file='/tmp/test.log' --log-file-format='%t %f %b' $(dirname ${INO_FILE}) ${user}@${ip2}::${des} fi if [[ $INO_EVENT =~ 'ATTRIB' ]] then echo 'ATTRIB' if [ ! -d "$INO_FILE" ] then rsync -avzcR --password-file=${rsync_passwd_file} --log-file='/tmp/test.log' --log-file-format='%t %f %b' $(dirname ${INO_FILE}) ${user}@${ip1}::${des} && rsync -avzcR --password-file=${rsync_passwd_file} --log-file='/tmp/test.log' --log-file-format='%t %f %b' $(dirname ${INO_FILE}) ${user}@${ip2}::${des} fi fi done
-m, 即--monitor,表示始終保持事件監聽狀態。
-r, 即--recursive,表示遞歸查詢目錄。
-q, 即--quiet,表示打印出監控事件。
-e, 即--event,通過此參數可以指定要監控的事件,常見的事件有modify、delete、create、attrib等
--timefmt:指定時間的輸出格式
--format:指定變化文件的詳細信息
建立認證文件 (rsync客戶端認證文件只用加入密碼)
echo "w28ui9e3r4t5" >> /etc/rsync.pwd chmod 600 /etc/rsync.pwd
/bin/sh -n /root/rsync.sh //語法檢查 chmod +x /root/rsync.sh nohup sh /root/rsync.sh & echo "nohup sh /root/rsync.sh &" >> /etc/rc.local
#64位系統如果出現這個錯誤“/usr/local/bin/inotifywait: error while loading shared libraries: libinotifytools.so.0”可以採用以下辦法解決:
ln -sv /usr/local/lib/libinotify* /usr/lib/ ln -s /usr/local/lib/libinotifytools.so.0 /usr/lib64/libinotifytools.so.0 cp /usr/lib/libinotifytools.so.0 /usr/local/lib/
四、同步測試
在更新源服務器上新建一個文件,運行以下的命令,看文件是否可以正常同步,看有無報錯信息
rsync -vzrtopg --delete --progress /data/www1/ [email protected]::web1 --password-file=/etc/www1.pwd
#將要更新的文件提交到更新源服務器中,這樣就通過inotify+rsync批量的將更新文件同步到所有的目的服務器中,相當方便快捷
五、優化 Inotify
echo 50000000>/proc/sys/fs/inotify/max_user_watches ##把他加入/etc/rc.local就可以實現每次重啓都生效 echo 50000000>/proc/sys/fs/inotify/max_queued_events
max_user_watches #設置inotifywait或inotifywatch命令可以監視的文件數量(單進程)
max_user_instances #設置每個用戶可以運行的inotifywait或inotifywatch命令的進程數
max_queued_events #設置inotify實例事件(event)隊列可容納的事件數量