rsync+inotify數據同步配置
一、rsync的優點與不足
與傳統的cp、tar備份方式相比,rsync具有安全性高、備份迅速、支持增量備份等優點,通過rsync可以解決對實時性要求不高的數據備份需求,例如定期的備份文件服務器數據到遠端服務器,對本地磁盤定期做數據鏡像等。
隨着應用系統規模的不斷擴大,對數據的安全性和可靠性也提出的更好的要求,rsync在高端業務系統中也逐漸暴露出了很多不足,首先,rsync同步數據時,需要掃描所有文件後進行比對,進行差量傳輸。如果文件數量達到了百萬甚至千萬量級,掃描所有文件將是非常耗時的。而且正在發生變化的往往是其中很少的一部分,這是非常低效的方式。其次,rsync不能實時的去監測、同步數據,雖然它可以通過linux守護進程的方式進行觸發同步,但是兩次觸發動作一定會有時間差,這樣就導致了服務端和客戶端數據可能出現不一致,無法在應用故障時完全的恢復數據。基於以上原因,rsync+inotify組合出現了!
二、 初識inotify
Inotify 是一種強大的、細粒度的、異步的文件系統事件監控機制,linux內核從2.6.13起,加入了Inotify支持,通過Inotify可以監控文件系統中添加、刪除,修改、移動等各種細微事件,利用這個內核接口,第三方軟件就可以監控文件系統下文件的各種變化情況,而inotify-tools就是這樣的一個第三方軟件。
在上面章節中,我們講到,rsync可以實現觸發式的文件同步,但是通過crontab守護進程方式進行觸發,同步的數據和實際數據會有差異,而inotify可以監控文件系統的各種變化,當文件有任何變動時,就觸發rsync同步,這樣剛好解決了同步數據的實時性問題。
三、 安裝inotify工具inotify-tools
由於inotify特性需要Linux內核的支持,在安裝inotify-tools前要先確認Linux系統內核是否達到了2.6.13以上,如果Linux內核低於2.6.13版本,就需要重新編譯內核加入inotify的支持,也可以用如下方法判斷,內核是否支持inotify:
[root@localhost webdata]# uname -r
2.6.18-164.11.1.el5PAE
[root@localhost webdata]# ll /proc/sys/fs/inotify
總計 0
-rw-r--r-- 1 root root 0 04-13 19:56 max_queued_events
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_instances
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_watches
如果有上面三項輸出,表示系統已經默認支持inotify,接着就可以開始安裝inotify-tools了。
可以到http://inotify-tools.sourceforge.net/下載相應的inotify-tools版本,然後開始編譯安裝:
[root@localhost ~]# tar zxvf inotify-tools-3.14.tar.gz && yum install inotify-tools
root@localhost ~]# cd inotify-tools-3.14
[root@localhost inotify-tools-3.14]# ./configure
[root@localhost inotify-tools-3.14]# make
[root@localhost inotify-tools-3.14]# make install
[root@localhost inotify-tools-3.14]# ll /usr/local/bin/inotifywa*
-rwxr-xr-x 1 root root 37264 04-14 13:42 /usr/local/bin/inotifywait
-rwxr-xr-x 1 root root 35438 04-14 13:42 /usr/local/bin/inotifywatch
inotify-tools安裝完成後,會生成inotifywait和inotifywatch兩個指令,其中,inotifywait用於等待文件或文件集上的一個特定事件,它可以監控任何文件和目錄設置,並且可以遞歸地監控整個目錄樹。
inotifywatch用於收集被監控的文件系統統計數據,包括每個inotify事件發生多少次等信息。
四、 inotify相關參數
inotify定義了下列的接口參數,可以用來限制inotify消耗kernel memory的大小。由於這些參數都是內存參數,因此,可以根據應用需求,實時的調節其大小。下面分別做簡單介紹。
/proc/sys/fs/inotify/max_queued_evnets
表示調用inotify_init時分配給inotify instance中可排隊的event的數目的最大值,超出這個值的事件被丟棄,但會觸發IN_Q_OVERFLOW事件。
/proc/sys/fs/inotify/max_user_instances
表示每一個real user ID可創建的inotify instatnces的數量上限。
/proc/sys/fs/inotify/max_user_watches
表示每個inotify instatnces可監控的最大目錄數量。如果監控的文件數目巨大,需要根據情況,適當增加此值的大小,例如:
echo 30000000 > /proc/sys/fs/inotify/max_user_watches #有時候需要設置一下的
五、 inotifywait相關參數
Inotifywait是一個監控等待事件,可以配合shell腳本使用它,下面介紹一下常用的一些參數:
-m, 即--monitor,表示始終保持事件監聽狀態。
-r, 即--recursive,表示遞歸查詢目錄。
-q, 即--quiet,表示打印出監控事件。
-e, 即--event,通過此參數可以指定要監控的事件,常見的事件有modify、delete、create、attrib等。
更詳細的請參看man inotifywait
一、主服務器(server端:安裝rsync && inotify-tools)
其中主服務器需要安裝rsync與inotify,主服務器作爲server,向備份服務器client傳輸文件
1、安裝rsync
[root@nginx ~]# cd /usr/src/
[root@nginx src]# ll
total 16
drwxr-xr-x 2 root root 4096 Jan 26 2010 debug
drwxr-xr-x 2 root root 4096 Jan 26 2010 kernels
[root@nginx src]# wget http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz
[root@nginx src]# tar zxvf rsync-3.0.9.tar.gz
[root@nginx src]# cd rsync-3.0.9
[root@nginx rsync-3.0.9]# ./configure --prefix=/usr/local/rsync
[root@nginx rsync-3.0.9]# make
[root@nginx rsync-3.0.9]# make install
2、建立密碼認證文件
[root@nginx rsync-3.0.9]# cd /usr/local/rsync/
[root@nginx rsync]# echo "rsync-pwd" >/usr/local/rsync/rsync.passwd
其中rsync-pwd可以自己設置密碼,rsync.passwd名字也可以自己設置
[root@nginx rsync]# chmod 600 rsync.passwd
無論是爲了安全,還是爲了避免出現以下錯誤,密碼文件都需要給600權限
password file must not be other-accessible
continuing without password file
3、安裝inotify
[root@nginx rsync]# cd /usr/src/
[root@nginx src]# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
[root@nginx src]# tar zxvf inotify-tools-3.14.tar.gz
[root@nginx src]# cd inotify-tools-3.14
[root@nginx inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify
[root@nginx inotify-tools-3.14]# make
[root@nginx inotify-tools-3.14]# make install
4、創建rsync複製腳本
此項功能主要是將server端的目錄/tmp裏的內容,如果修改了(無論是添加、修改、刪除文件)能夠通過inotify監控到,並通過rsync實時的同步給client的/tmp裏,下面是通過shell腳本實現的。
#!/bin/bash
host=192.168.44.128 #client的ip地址
src=/home/
des=web#client端的rsync.conf配置文件裏的目錄,不是path
user=root
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src | while read files
do
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/rsync.passwd $src $user@$host::$des
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
其中host是client的ip,src是server端要實時監控的目錄,des是認證的模塊名,需要與client一致,user是建立密碼文件裏的認證用戶。
把這個腳本命名爲rsync.sh,放到監控的目錄裏,比如我的就放到/tmp下面,並給予764權限
[root@nginx tmp]# chmod 764 rsync.sh
然後運行這個腳本
[root@nginx tmp]# sh /tmp/rsync.sh &
請記住,只有在備份服務器client端的rsync安裝並啓動rsync之後,再啓動rsync.sh腳本,否則有時候會滿屏出現:
rsync: failed to connect to 192.168.10.221: Connection refused (111)
rsync error: error in socket IO (code 10) at clientserver.c(107) [sender=2.6.8]
我們還可以把rsync.sh腳本加入到開機啓動項裏
[root@nginx tmp]# echo "/tmp/rsync.sh" >> /etc/rc.local
二、備份服務器(client)
1、安裝rsync(備份服務器只安裝rsync)
[root@nginx-backup ~]# cd /usr/src/
[root@nginx-backup src]# ll
total 16
drwxr-xr-x 2 root root 4096 Jan 26 2010 debug
drwxr-xr-x 2 root root 4096 Jan 26 2010 kernels
[root@nginx-backup src]# wget http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz
[root@nginx-backup src]# tar zxvf rsync-3.0.9.tar.gz
[root@nginx-backup src]# cd rsync-3.0.9
[root@nginx-backup rsync-3.0.9]# ./configure --prefix=/usr/local/rsync
[root@nginx-backup rsync-3.0.9]# make
[root@nginx-backup rsync-3.0.9]# make install
2、建立用戶與密碼認證文件
[root@nginx-backup rsync-3.0.9]# echo "webuser:rsync-pwd" > /usr/local/rsync/rsync.passwd
請記住,在server端建立的密碼文件,只有密碼,沒有用戶名;而在備份服務端client裏建立的密碼文件,用戶名與密碼都有。
[root@nginx-backup rsync]# chmod 600 rsync.passwd
需要給密碼文件600權限
添加自啓動
echo "/usr/bin/rsync --daemon" >> /etc/rc.local
3、建立rsync配置文件
vim rsync.conf
uid = root
gid = root
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
#以上爲全局配置
[web]#模塊名是web
path = /tmp/
comment = web file
ignore errors
read only = no
write only = no
hosts allow = 192.168.10.220 #可以訪問此模塊的主機,*表示任何主機,此處是網段,某個主機直接寫ip
hosts deny = *
list = false
uid = root
gid = root
auth users = root
secrets file = /usr/local/rsync/rsync.passwd
例子:
uid = root #全局配置開始,運行rsync的用戶
gid = root #運行rsync的用戶組
usechroot = no #是否讓進程離開工作目錄
max connections = 20 #最大併發數
timeout = 600 #連接超時時間
pid file = /var/run/rsyncd.pid #指定rsync的pid存放路徑
lock file = /var/run/rsync.lock #指定rsync的鎖文件存放路徑
log file = /var/log/rsyncd.log #指定rsync的日誌存放路徑
[web_log] #模塊配置開始
path = /data/web_log/ #需要備份的文件路徑
ignore errors #忽略一些無關的I/O錯誤
read only = false #false爲關閉,true表示開啓。表示只讀,不允許上傳文件
writeonly = false #不允許下載
list = false #客戶請求可以使用模塊列表時是否被列出
hosts allow = 192.168.1.0/24 #可以訪問此模塊的主機,*表示任何主機,此處是網段,某個主機直接寫ip
hosts deny = 0.0.0.0/32 #禁止訪問此模塊的主機地址
auth users = backuser #自定義連接該模塊的用戶名,多個用戶用逗號分隔
secrets file = /etc/rsync.password #指定一個包含“用戶名:密碼”格式的文件
其中web是server服務端裏的認證模塊名稱,需要與主服務器裏的一致,以上的配置我的自己服務器裏的配置,以供參考。
把配置文件命名爲rsync.conf,放到/usr/local/rsync/目錄裏
啓動rsync
[root@nginx-backup rsync]# /usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf
如果出現以下問題:
/usr/local/rsync/bin/rsync: error while loading shared libraries: libiconv.so.2: cannot open shared object file: No such file or directory,
可以採用下面方法解決
[root@nginx-backup rsync]# whereis libiconv.so.2
libiconv.so: /usr/local/lib/libiconv.so.2 /usr/local/lib/libiconv.so
找到所需模塊所在的目錄,然後把此目錄添加到/etc/ld.so.conf裏,並更新庫文件
[root@nginx-backup rsync]# echo "/usr/local/lib/" >> /etc/ld.so.conf
[root@nginx-backup rsync]# ldconfig
我們可以把rsync腳本加入到開機啓動項裏
[root@nginx-backup rsync]# echo "/usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf" >> /etc/rc.local 。