前言:
什麼是Inotify:
Inotify是一種強大的,細粒度的,異步的文件系統事件監控機制(軟件),linux內核從2.6.13起,加入了Inotify支持,通過Inotify可以監控文件系統中添加,刪除,修改,移動等各種事件,利用這個內核接口,第三方軟件就可以監控文件系統下文件的各種變化情況
inotify的實現:
1)inotify-tools,
2)sersync(金山周洋)
3)lsyncd
inotify主要可控配置:
在/proc/sys/fs/inotify目錄下有三個文件,可適當調整。
max_user_watches:設置inotifywait或inotifywatch命令可以監視的文件數量(單進程),默認8192
max_user_instances:設置每個用戶可以運行的inotifywait或inotifywatch命令的進程數。默認128
max_queued_events:設置inotify實例事件(event)隊列可容納的事件數量。默認16384
以inotify-tools爲例實現inotify+rsync實時同步:
安裝:
centos 7.4爲例,配置epel源
yum install inotify-tools -y
安裝後生成一下兩個工具
inotifywait:在被監控的文件或目錄上等待特定文件系統事件(open,close,delete等)發生,執行後處於阻塞狀態,適合shell腳本中使用。
inotifywatch:收集被監視的文件系統使用度統計數據,指文件系統事件發生的次數統計。
inotifywait 參數說明
參數名稱 | 參數說明 |
---|---|
-m,–monitor | 始終保持事件監聽狀態 |
-r,–recursive | 遞歸查詢目錄 |
-q,–quiet | 只打印監控事件的信息 |
–excludei | 排除文件或目錄時,不區分大小寫 |
-t,–timeout | 超時時間 |
–timefmt | 指定時間輸出格式 |
–format | 指定輸出格式,%T引用--timefmt中指定的時間格式,%Xe指明發生修改的類型,%w發生修改的文件路徑,%f發生修改的文件名 |
-e,–event | 後面指定刪、增、改等事件 |
-e :--event的各種事件含義
Events | 含義 |
---|---|
access | 文件或目錄被讀取 |
modify | 文件或目錄內容被修改 |
attrib | 文件或目錄屬性被改變 |
close | 文件或目錄封閉,無論讀/寫模式 |
open | 文件或目錄被打開 |
moved_to | 文件或目錄被移動至另外一個目錄 |
move | 文件或目錄被移動到另一個目錄或從另一個目錄移動至當前目錄 |
create | 文件或目錄被創建在當前目錄 |
delete | 文件或目錄被刪除 |
umount | 文件系統被卸載 |
命令行測試示例:
實現inotify+rsync實時同步腳本:
1.
#!/bin/bash Path=/data backup_Server=172.16.1.1 /usr/bin/inotifywait -mrq --format '%w%f' -e create,close_write,delete /data | while read line do if [ -f $line ];then rsync -az $line --delete rsync_backup@$backup_Server::nfsbackup --password-file=/etc/rsync.password else cd $Path &&\ rsync -az ./ --delete rsync_backup@$backup_Server::nfsbackup --password-file=/etc/rsync.password fi done
2.
#!/bin/bash src=/data/ # 需要同步的源路徑 des=data # 目標服務器上 rsync --daemon 發佈的模塊名稱 rsync_passwd_file=/etc/rsyncd.passwd # rsync驗證的密碼文件 ip1=192.168.0.18 # 目標服務器1 ip2=192.168.0.19 # 目標服務器2 user=root # rsync --daemon定義的驗證用戶名 cd ${src} # 此方法中,由於rsync同步的特性,這裏必須要先cd到源目錄,inotify再監聽 ./ 才能rsync同步後目錄結構一致 /usr/local/bin/inotifywait -mrq --format '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ./ | while read file # 把監控到有發生更改的"文件路徑列表"循環 do INO_EVENT=$(echo $file | awk '{print $1}') # 把inotify輸出切割 把事件類型部分賦值給INO_EVENT INO_FILE=$(echo $file | awk '{print $2}') # 把inotify輸出切割 把文件路徑部分賦值給INO_FILE echo "-------------------------------$(date)------------------------------------" echo $file #增加、修改、寫入完成、移動進事件 #增、改放在同一個判斷,因爲他們都肯定是針對文件的操作,即使是新建目錄,要同步的也只是一個空目錄,不會影響速度。 if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]] # 判斷事件類型 then echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO' rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} && # INO_FILE變量代表路徑哦 -c校驗文件內容 rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des} #仔細看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})變量 即每次只針對性的同步發生改變的文件的目錄(只同步目標文件的方法在生產環境的某些極端環境下會漏文件 現在可以在不漏文件下也有不錯的速度做到平衡) 然後用-R參數把源的目錄結構遞歸到目標後面 保證目錄結構一致性 fi #刪除、移動出事件 if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]] then echo 'DELETE or MOVED_FROM' rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} && rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des} #看rsync命令 如果直接同步已刪除的路徑${INO_FILE}會報no such or directory錯誤 所以這裏同步的源是被刪文件或目錄的上一級路徑,並加上--delete來刪除目標上有而源中沒有的文件,這裏不能做到指定文件刪除,如果刪除的路徑越靠近根,則同步的目錄月多,同步刪除的操作就越花時間。 fi #修改屬性事件 指 touch chgrp chmod chown等操作 if [[ $INO_EVENT =~ 'ATTRIB' ]] then echo 'ATTRIB' if [ ! -d "$INO_FILE" ] # 如果修改屬性的是目錄 則不同步,因爲同步目錄會發生遞歸掃描,等此目錄下的文件發生同步時,rsync會順帶更新此目錄。 then rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} && rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des} fi fi done