inotify+rsync實時同步

前言:


什麼是Inotify:

    Inotify是一種強大的,細粒度的,異步的文件系統事件監控機制(軟件),linux內核從2.6.13起,加入了Inotify支持,通過Inotify可以監控文件系統中添加,刪除,修改,移動等各種事件,利用這個內核接口,第三方軟件就可以監控文件系統下文件的各種變化情況

inotify的實現:

    1)inotify-tools,

    2)sersync(金山周洋)

    3)lsyncd

inotify主要可控配置:

在/proc/sys/fs/inotify目錄下有三個文件,可適當調整。

max_user_watches:設置inotifywait或inotifywatch命令可以監視的文件數量(單進程),默認8192

max_user_instances:設置每個用戶可以運行的inotifywait或inotifywatch命令的進程數。默認128

max_queued_events:設置inotify實例事件(event)隊列可容納的事件數量。默認16384


以inotify-tools爲例實現inotify+rsync實時同步:


安裝:

centos 7.4爲例,配置epel源

yum install inotify-tools -y

安裝後生成一下兩個工具

inotifywait:在被監控的文件或目錄上等待特定文件系統事件(open,close,delete等)發生,執行後處於阻塞狀態,適合shell腳本中使用。

inotifywatch:收集被監視的文件系統使用度統計數據,指文件系統事件發生的次數統計。


inotifywait 參數說明

參數名稱參數說明
-m,–monitor始終保持事件監聽狀態
-r,–recursive遞歸查詢目錄
-q,–quiet只打印監控事件的信息
–excludei排除文件或目錄時,不區分大小寫
-t,–timeout超時時間
–timefmt指定時間輸出格式
–format指定輸出格式,%T引用--timefmt中指定的時間格式,%Xe指明發生修改的類型,%w發生修改的文件路徑,%f發生修改的文件名
-e,–event後面指定刪、增、改等事件


-e :--event的各種事件含義

Events含義
access文件或目錄被讀取
modify文件或目錄內容被修改
attrib文件或目錄屬性被改變
close文件或目錄封閉,無論讀/寫模式
open文件或目錄被打開
moved_to文件或目錄被移動至另外一個目錄
move文件或目錄被移動到另一個目錄或從另一個目錄移動至當前目錄
create文件或目錄被創建在當前目錄
delete文件或目錄被刪除
umount文件系統被卸載


命令行測試示例:

image.png

實現inotify+rsync實時同步腳本:

1.

#!/bin/bash
Path=/data
backup_Server=172.16.1.1


/usr/bin/inotifywait -mrq --format '%w%f' -e create,close_write,delete /data  | while read line  do
    if [ -f $line ];then
        rsync -az $line --delete rsync_backup@$backup_Server::nfsbackup --password-file=/etc/rsync.password       
    else
        cd $Path &&\
        rsync -az ./ --delete rsync_backup@$backup_Server::nfsbackup --password-file=/etc/rsync.password    
    fi
done

2.

#!/bin/bash
src=/data/                           # 需要同步的源路徑
des=data                             # 目標服務器上 rsync --daemon 發佈的模塊名稱
rsync_passwd_file=/etc/rsyncd.passwd            # rsync驗證的密碼文件
ip1=192.168.0.18                 # 目標服務器1
ip2=192.168.0.19                 # 目標服務器2
user=root                            # rsync --daemon定義的驗證用戶名
cd ${src}                              # 此方法中,由於rsync同步的特性,這裏必須要先cd到源目錄,inotify再監聽 ./ 才能rsync同步後目錄結構一致
/usr/local/bin/inotifywait -mrq --format  '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ./ | while read file         # 把監控到有發生更改的"文件路徑列表"循環
do
        INO_EVENT=$(echo $file | awk '{print $1}')      # 把inotify輸出切割 把事件類型部分賦值給INO_EVENT
        INO_FILE=$(echo $file | awk '{print $2}')       # 把inotify輸出切割 把文件路徑部分賦值給INO_FILE
        echo "-------------------------------$(date)------------------------------------"
        echo $file
        #增加、修改、寫入完成、移動進事件
        #增、改放在同一個判斷,因爲他們都肯定是針對文件的操作,即使是新建目錄,要同步的也只是一個空目錄,不會影響速度。
        if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]]         # 判斷事件類型
        then
                echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO'
                rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&         # INO_FILE變量代表路徑哦  -c校驗文件內容
                rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                 #仔細看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})變量 即每次只針對性的同步發生改變的文件的目錄(只同步目標文件的方法在生產環境的某些極端環境下會漏文件 現在可以在不漏文件下也有不錯的速度做到平衡) 然後用-R參數把源的目錄結構遞歸到目標後面 保證目錄結構一致性
        fi
        #刪除、移動出事件
        if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]]
        then
                echo 'DELETE or MOVED_FROM'
                rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&
                rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                #看rsync命令 如果直接同步已刪除的路徑${INO_FILE}會報no such or directory錯誤 所以這裏同步的源是被刪文件或目錄的上一級路徑,並加上--delete來刪除目標上有而源中沒有的文件,這裏不能做到指定文件刪除,如果刪除的路徑越靠近根,則同步的目錄月多,同步刪除的操作就越花時間。
        fi
        #修改屬性事件 指 touch chgrp chmod chown等操作
        if [[ $INO_EVENT =~ 'ATTRIB' ]]
        then
                echo 'ATTRIB'
                if [ ! -d "$INO_FILE" ]                 # 如果修改屬性的是目錄 則不同步,因爲同步目錄會發生遞歸掃描,等此目錄下的文件發生同步時,rsync會順帶更新此目錄。
                then
                        rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&            
                        rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                fi
        fi
done


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章