Ubuntu 下rsync+inotify實現實時文件同步

rsync+inotify實現實時文件同步

一、rsync的優點與不足

    與傳統的cptar備份方式相比,rsync具有安全性高、備份迅速、支持增量備份等優點,通過rsync可以解決對實時性要求不高的數據備份需求,例如定期的備份文件服務器數據到遠端服務器,對本地磁盤定期做數據鏡像等。

    隨着應用系統規模的不斷擴大,對數據的安全性和可靠性也提出的更好的要求,rsync在高端業務系統中也逐漸暴露出了很多不足,首先,rsync同步數據時,需要掃描所有文件後進行比對,進行差量傳輸。如果文件數量達到了百萬甚至千萬量級,掃描所有文件將是非常耗時的。而且正在發生變化的往往是其中很少的一部分,這是非常低效的方式。其次,rsync不能實時的去監測、同步數據,雖然它可以通過linux守護進程的方式進行觸發同步,但是兩次觸發動作一定會有時間差,這樣就導致了服務端和客戶端數據可能出現不一致,無法在應用故障時完全的恢復數據。

基於以上原因,rsync+inotify組合出現了!

二、初識inotify

    Inotify 是一種強大的、細粒度的、異步的文件系統事件監控機制,linux內核從2.6.13起,加入了Inotify支持,通過Inotify可以監控文件系統中添加、刪除,修改、移動等各種細微事件,利用這個內核接口,第三方軟件就可以監控文件系統下文件的各種變化情況,而inotify-tools就是這樣的一個第三方軟件。

    rsync可以實現觸發式的文件同步,但是通過crontab守護進程方式進行觸發,同步的數據和實際數據會有差異,而inotify可以監控文件系統的各種變化,當文件有任何變動時,就觸發rsync同步,這樣剛好解決了同步數據的實時性問題.

三、安裝inotify工具inotify-tools

 由於inotify特性需要Linux內核的支持,在安裝inotify-tools前要先確認Linux系統內核是否達到了2.6.13以上,如果Linux內核低於2.6.13版本,就需要重新編譯內核加入inotify的支持,也可以用如下方法判斷,內核是否支持inotify

root@zko-laptop:/home/zko/common# uname -r

3.13.0-36-generic

root@zko-laptop:/home/zko/common# ll /proc/sys/fs/inotify

總用量 0

-rw-r--r-- 1 root root 0  9月 30 22:26 max_queued_events

-rw-r--r-- 1 root root 0  9月 30 22:26 max_user_instances

-rw-r--r-- 1 root root 0  9月 30 13:45 max_user_watches

如果有上面三項輸出,表示系統已經默認支持inotify,接着就可以開始安裝inotify-tools了。

安裝inotify-tools;

root@zko-laptop:/home/zko#

wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

root@zko-laptop:/home/zko# mkdir tools

root@zko-laptop:/home/zko# cd tools/

root@zko-laptop:/home/zko/tools#

mv /home/zko/common/inotify-tools-3.14.tar.gz inotify-tools-3.14.tar.gz

root@zko-laptop:/home/zko/tools# ls

inotify-tools-3.14.tar.gz

root@zko-laptop:/home/zko/tools/inotify-tools-3.14# ./configure 

root@zko-laptop:/home/zko/tools/inotify-tools-3.14# make && make install

root@zko-laptop:/home/zko/tools/inotify-tools-3.14# ll /usr/local/bin

總用量 104

-rwxr-xr-x 1 root root 51061  9月 30 22:30 inotifywait

-rwxr-xr-x 1 root root 51443  9月 30 22:30 inotifywatch

  inotify-tools安裝完成後,會生成inotifywaitinotifywatch兩個指令,其中,inotifywait用於等待文件或文件集上的一個特定事件,它可以監控任何文件和目錄設置,並且可以遞歸地監控整個目錄樹。

  inotifywatch用於收集被監控的文件系統統計數據,包括每個inotify事件發生多少次等信息。

四、 inotify相關參數

   inotify定義了下列的接口參數,可以用來限制inotify消耗kernel memory的大小。由於這些參數都是內存參數,因此,可以根據應用需求,實時的調節其大小。下面分別做簡單介紹。

   /proc/sys/fs/inotify/max_queued_evnets     表示調用inotify_init時分配給inotify instance中可排隊的event的數目的最大值,超出這個值的事件被丟棄,但會觸發IN_Q_OVERFLOW事件。

  /proc/sys/fs/inotify/max_user_instances    表示每一個real user ID可創建的inotify instatnces的數量上限。

   /proc/sys/fs/inotify/max_user_watches      表示每個inotify instatnces可監控的最大目錄數量。如果監控的文件數目巨大,需要根據情況,適當增加此值的大小,例如:

echo 30000000 > /proc/sys/fs/inotify/max_user_watches

 

root@zko-laptop:/home/zko/tools/inotify-tools-3.14# cd /proc/sys/fs/inotify

root@zko-laptop:/proc/sys/fs/inotify# ll

總用量 0

-rw-r--r-- 1 root root 0  9月 30 22:26 max_queued_events

-rw-r--r-- 1 root root 0  9月 30 22:26 max_user_instances

-rw-r--r-- 1 root root 0  9月 30 13:45 max_user_watches

root@zko-laptop:/proc/sys/fs/inotify# cat max_queued_events 

16384

root@zko-laptop:/proc/sys/fs/inotify# cat max_user_instances 

128

root@zko-laptop:/proc/sys/fs/inotify# cat max_user_watches 

524288

五、 inotifywait相關參數

Inotifywait是一個監控等待事件,可以配合shell腳本使用它,下面介紹一下常用的一些參數:

-m, 即--monitor,表示始終保持事件監聽狀態。

-r, 即--recursive,表示遞歸查詢目錄。

-q, 即--quiet,表示打印出監控事件。

-e, 即--event,通過此參數可以指定要監控的事件,常見的事件有modifydeletecreateattrib等。

更詳細的請參看man inotifywait

 

 

實例測試:

root@zko-laptop:/home/zko/tools# echo "hello">>test/foo

root@zko-laptop:/home/zko/tools# cat test/foo 

hello

root@zko-laptop:/home/zko/tools# inotifywait test/

inotifywait: error while loading shared libraries: libinotifytools.so.0: cannot open shared object file: No such file or directory

 

報錯!

解決方法:

root@zko-laptop:/home/zko/tools# find / -name libinotifytools.so.0  //尋找文件源

/home/zko/tools/inotify-tools-3.14/libinotifytools/src/.libs/libinotifytools.so.0

/usr/lib/libinotifytools.so.0

/usr/local/lib/libinotifytools.so.0

root@zko-laptop:/home/zko/tools#

cp /home/zko/tools/inotify-tools-3.14/libinotifytools/src/.libs/libinotifytools.so.0 /usr/local/lib/libinotifytools.so.0 //覆蓋文件

root@zko-laptop:/home/zko/tools# inotifywait test/foo 

Setting up watches.

Watches established.

成功!

六、 rsync+inotify企業應用案例

 

客戶端(192.168.1.103):

root@zko-love:/home/zko# mkdir /var/www/001

root@zko-love:/home/zko# cd /var/www/001

root@zko-love:/var/www/001# ls

root@zko-love:/var/www/001# chmod 600 /var/www/001

root@zko-love:/var/www/001# vi /etc/rsyncd.conf 

# sample rsyncd.conf configuration file

# GLOBAL OPTIONS

motd file=/etc/rsyncd.motd

log file=/var/log/rsyncd.log

transfer logging=yes

lock file=/var/run/rsync.lock

port=873

address=192.168.1.103

uid=0

gid=0

use chroot=no

read only=no

max connections=10

pid file=/var/run/rsyncd.pid

[web1]

comment=Web content

path=/var/www/001

auth users=tom

secrets file=/etc/rsyncd.pass

hosts allow=192.168.1.101

hosts deny=*

list=false

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

root@zko-love:/var/www/001# echo "tom:pass">>/etc/rsyncd.pass  //密碼文件

root@zko-love:/var/www/001# vi /etc/rsyncd.conf 

root@zko-love:/var/www/001# cat /etc/rsyncd.pass

tom:pass

root@zko-love:/var/www/001# chmod 600  /etc/rsyncd.pass

root@zko-love:/var/www/001# rsync --daemon               //開啓

root@zko-love:/var/www/001# ps -ef | grep rsync

root      3807     1  0 23:11 ?        00:00:00 rsync --daemon

root      3809  3460  0 23:11 pts/10   00:00:00 grep --color=auto rsync

 

服務端(192.168.1.101):

安裝inotify-tools工具;

初始化密碼文件:

root@zko-laptop:/home/zko/tools# echo "pass">>/etc/rsyncd.pass

root@zko-laptop:/home/zko/tools# cat /etc/rsyncd.pass 

pass

服務端與客戶端連接:

root@zko-laptop:/home/zko#

 /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.pass /var/www/001 [email protected]::web1

sending incremental file list

001/

sent 61 bytes  received 20 bytes  162.00 bytes/sec

total size is 0  speedup is 0.00

測試成功!


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章