轉載於：http://ixdba.blog.51cto.com/2895551/580280
一、rsync的優點與不足
與傳統的cp、tar備份方式相比，rsync具有安全性高、備份迅速、支持增量備份等優點，通過rsync可以解決對實時性要求不高的數據備份需求，例如定期的備份文件服務器數據到遠端服務器，對本地磁盤定期做數據鏡像等。
隨着應用系統規模的不斷擴大，對數據的安全性和可靠性也提出的更好的要求，rsync在高端業務系統中也逐漸暴露出了很多不足，首先，rsync同步數據時，需要掃描所有文件後進行比對，進行差量傳輸。如果文件數量達到了百萬甚至千萬量級，掃描所有文件將是非常耗時的。而且正在發生變化的往往是其中很少的一部分，這是非常低效的方式。其次，rsync不能實時的去監測、同步數據，雖然它可以通過linux守護進程的方式進行觸發同步，但是兩次觸發動作一定會有時間差，這樣就導致了服務端和客戶端數據可能出現不一致，無法在應用故障時完全的恢復數據。基於以上原因，rsync+inotify組合出現了！
二、 初識inotify
Inotify 是一種強大的、細粒度的、異步的文件系統事件監控機制，linux內核從2.6.13起，加入了Inotify支持，通過Inotify可以監控文件系統中添加、刪除，修改、移動等各種細微事件，利用這個內核接口，第三方軟件就可以監控文件系統下文件的各種變化情況，而inotify-tools就是這樣的一個第三方軟件。
在上面章節中，我們講到，rsync可以實現觸發式的文件同步，但是通過crontab守護進程方式進行觸發，同步的數據和實際數據會有差異，而inotify可以監控文件系統的各種變化，當文件有任何變動時，就觸發rsync同步，這樣剛好解決了同步數據的實時性問題。
三、 安裝inotify工具inotify-tools
由於inotify特性需要Linux內核的支持，在安裝inotify-tools前要先確認Linux系統內核是否達到了2.6.13以上，如果Linux內核低於2.6.13版本，就需要重新編譯內核加入inotify的支持，也可以用如下方法判斷，內核是否支持inotify：
[root@localhost webdata]# uname -r
2.6.18-164.11.1.el5PAE
[root@localhost webdata]# ll /proc/sys/fs/inotify
總計 0
-rw-r--r-- 1 root root 0 04-13 19:56 max_queued_events
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_instances
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_watches
如果有上面三項輸出，表示系統已經默認支持inotify，接着就可以開始安裝inotify-tools了。
可以到http://inotify-tools.sourceforge.net/下載相應的inotify-tools版本，然後開始編譯安裝：
[root@localhost ~]# tar zxvf inotify-tools-3.14.tar.gz
root@localhost ~]# cd inotify-tools-3.14
[root@localhost inotify-tools-3.14]# ./configure
[root@localhost inotify-tools-3.14]# make
[root@localhost inotify-tools-3.14]# make install
[root@localhost inotify-tools-3.14]# ll /usr/local/bin/inotifywa*
-rwxr-xr-x 1 root root 37264 04-14 13:42 /usr/local/bin/inotifywait
-rwxr-xr-x 1 root root 35438 04-14 13:42 /usr/local/bin/inotifywatch
inotify-tools安裝完成後，會生成inotifywait和inotifywatch兩個指令，其中，inotifywait用於等待文件或文件集上的一個特定事件，它可以監控任何文件和目錄設置，並且可以遞歸地監控整個目錄樹。
inotifywatch用於收集被監控的文件系統統計數據，包括每個inotify事件發生多少次等信息。
四、 inotify相關參數
inotify定義了下列的接口參數，可以用來限制inotify消耗kernel memory的大小。由於這些參數都是內存參數，因此，可以根據應用需求，實時的調節其大小。下面分別做簡單介紹。
/proc/sys/fs/inotify/max_queued_evnets
表示調用inotify_init時分配給inotify instance中可排隊的event的數目的最大值，超出這個值的事件被丟棄，但會觸發IN_Q_OVERFLOW事件。
/proc/sys/fs/inotify/max_user_instances
表示每一個real user ID可創建的inotify instatnces的數量上限。
/proc/sys/fs/inotify/max_user_watches
表示每個inotify instatnces可監控的最大目錄數量。如果監控的文件數目巨大，需要根據情況，適當增加此值的大小，例如：
echo 30000000 > /proc/sys/fs/inotify/max_user_watches
五、 inotifywait相關參數
Inotifywait是一個監控等待事件，可以配合shell腳本使用它，下面介紹一下常用的一些參數：
-m， 即--monitor，表示始終保持事件監聽狀態。
-r， 即--recursive，表示遞歸查詢目錄。
-q， 即--quiet，表示打印出監控事件。
-e， 即--event，通過此參數可以指定要監控的事件，常見的事件有modify、delete、create、attrib等。
更詳細的請參看man inotifywait。
六、 rsync+inotify企業應用案例
案例描述
這是一個CMS內容發佈系統，後端採用負載均衡集羣部署方案，有一個負載調度節點和三個服務節點以及一個內容發佈節點構成，內容發佈節點負責將用戶發佈的數據生成靜態頁面，同時將靜態網頁傳輸到三臺服務節點，而負載調度節點負責將用戶請求根據負載算法調度到相應的服務節點，實現用戶訪問。用戶要求在前端訪問到的網頁數據始終是最新的、一致的。
解決方案
爲了保證用戶訪問到的數據一致性和實時性，必須保證三個服務節點與內容發佈節點的數據始終是一致的，這就需要通過文件同步工具來實現，這裏採用rsync，同時又要保證數據是實時的，這就需要inotify，即：使用inotify監視內容發佈節點文件的變化，如果文件有變動，那麼就啓動rsync，將文件實時同步到三個服務節點。
系統環境
這裏所有服務器均採用Linux操作系統，系統內核版本與節點信息如表1 所示：
表1
1 安裝rsync與inotify-tools
inotify-tools是用來監控文件系統變化的工具，因此必須安裝在內容發佈節點，服務節點無需安裝inotify-tools，另外需要在web1、web2、web3、webserver節點上安裝rsync，由於安裝非常簡單，這裏不在講述。
在這個案例中，內容發佈節點（即server）充當了rsync客戶端的角色，而三個服務節點充當了rsync服務器端的角色，整個數據同步的過程，其實就是一個從客戶端向服務端推送數據的過程。這點與上面我們講述的案例剛好相反。
2 在三個服務節點配置rsync
這裏給出三個服務節點的rsync配置文件，以供參考，讀者可根據實際情況自行修改。
Web1節點rsyncd.conf配置如下：
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[web1]
path = /web1/wwwroot/
comment = web1 file
ignore errors
read only = no
write only = no
hosts allow = 192.168.12.134
hosts deny = *
list = false
uid = root
gid = root
auth users = web1user
secrets file = /etc/web1.pass
Web2節點rsyncd.conf配置如下：
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[web2]
path = /web2/wwwroot/
comment = web2 file
ignore errors
read only = no
write only = no
hosts allow = 192.168.12.134
hosts deny = *
list = false
uid = root
gid = root
auth users = web2user
secrets file = /etc/web2.pass
Web3節點rsyncd.conf配置如下：
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[web3]
path = /web3/wwwroot/
comment = web3 file
ignore errors
read only = no
write only = no
hosts allow = 192.168.12.134
hosts deny = *
list = false
uid = root
gid = root
auth users = web3user
secrets file = /etc/web3.pass
在三臺服務節點rsyncd.conf文件配置完成後，依次啓動rsync守護進程，接着將rsync服務加入到自啓動文件中：
echo “/usr/local/bin/rsync --daemon” >>/etc/rc.local
到此爲止，三個web服務節點已經配置完成。
3 配置內容發佈節點
配置內容發佈節點的主要工作是將生成的靜態網頁實時的同步到集羣中三個服務節點，這個過程可以通過一個shell腳本來完成，腳本內容大致如下：
#!/bin/bash
host1=192.168.12.131
host2=192.168.12.132
host3=192.168.12.133
src=/web/wwwroot/
dst1=web1
dst2=web2
dst3=web3
user1=web1user
user2=web3user
user3=web3user
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files
do
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/server.pass $src $user1@$host1::$dst1
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/server.pass $src $user2@$host2::$dst2
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/server.pass $src $user3@$host3::$dst3
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
腳本相關解釋如下：
--timefmt：指定時間的輸出格式。
--format：指定變化文件的詳細信息。
這兩個參數一般配合使用，通過指定輸出格式，輸出類似與：
15/04/10 00:29 /web/wwwroot/ixdba.shDELETE,ISDIR was rsynced
15/04/10 00:30 /web/wwwroot/index.htmlMODIFY was rsynced
15/04/10 00:31 /web/wwwroot/pcre-8.02.tar.gzCREATE was rsynced
這個腳本的作用就是通過inotify監控文件目錄的變化，進而觸發rsync進行同步操作，由於這個過程是一種主動觸發操作，通過系統內核完成的，所以，比起那些遍歷整個目錄的掃描方式，效率要高很多。
有時會遇到這樣的情況：向inotify監控的目錄（這裏是/web/wwwroot/）寫入一個很大文件時，由於寫入這個大文件需要一段時間，此時inotify就會持續不停的輸出該文件被更新的信息， 這樣就會持續不停的觸發rsync去執行同步操作，佔用了大量系統資源，那麼針對這種情況，最理想的做法是等待文件寫完後再去觸發rsync同步。 在這種情況下，可以修改inotify的監控事件，即：“-e close_write,delete,create,attrib”。
接着，將這個腳本命名爲inotifyrsync.sh，放到/web/wwwroot目錄下，然後給定可執行權限，放到後臺運行：
chmod 755 /web/wwwroot/inotifyrsync.sh
/web/wwwroot/inotifyrsync.sh &
最後，將此腳本加入系統自啓動文件：
echo “/web/wwwroot/inotifyrsync.sh &”>>/etc/rc.local
這樣就完成了內容發佈節點的所有配置工作。
4 測試rsync+inotify實時同步功能
所有配置完成後，可以在網頁發佈節點的/web/wwwroot目錄下添加、刪除或者修改某個文件，然後到三個服務節點對應的目錄查看文件是否跟隨網頁發佈節點的/web/wwwroot目錄下文件發生變化，如果你看到三個服務節點對應的目錄文件跟着內容發佈節點目錄文件同步變化，那麼我們這個業務系統就配置成功了。
本文出自 “技術成就夢想” 博客，請務必保留此出處http://ixdba.blog.51cto.com/2895551/580280