數據的實時同步

一、兩主機間數據的實時同步

1.同步原理

利用監控服務（inotify），監控同步數據服務器目錄中信息的變化發現目錄中數據產生變化，就利用rsync服務推送到備份服務器上

2.實現方式

inotify+rsync方式實現數據同步
sersync 在inotify 軟件基礎上進行開發的，功能更加強大

3.inotify

異步的文件系統時間監控機制，利用事件驅動機制，而無須通過諸如cron等的輪詢機制來獲取事件，linux內核從2.6.13起支持 inotify，通過inotify可以監控文件系統中添加、刪除，修改、移動等各種事件

4.實現數據同步的軟件

inotify-tools，sersync，lrsyncd

二、inotify和rsync實現實時同步

1.inotify對同步數據目錄信息的監控
2.rsync完成對數據的同步
3.利用腳本進行結合

三、具體步驟

1.在服務端安裝rsync包

yum install rsync

2.配置rsync的配置文件

vim /etc/rsync.conf
uid = root
gid = root
use chroot = no
max connections = 0
ignore errors
exclude = lost+found/
log file = /var/log/rsyncd.log   //日誌文件路徑
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock  //鎖文件路徑
reverse lookup = no
hosts allow = 192.168.30.16/24 //允許此主機同步
[backup]
path = /backup/   //同步數據路徑
comment = backup    //共享說明
read only = no      //非只讀
auth users = javis  //允許此用戶訪問
secrets file = /etc/rsync.pass  //賬號文件路徑

3.服務器端生成驗證文件

echo "javis:zhuzhuzhu" > /etc/rsync.pass
chmod 600 /etc/rsync.pass

4.服務器端準備目錄

mkdir /backup

5.啓動服務

rsync  --deamon  //可加入/etc/rc.d/rc.local實現開機啓動

6.客戶端配置密碼文件

echo "zhuzhuzhu"  > /etc/rsync.pass
chmod 600 /etc/rsync.pass

7.客戶端安裝軟件

yum install inotify-tools rsync -y

8.客戶端測試同步數據

rsync  -avz  --password-file=/etc/rsync.pass  /data/ [email protected]::backup

9.編寫客戶端腳本inotify_rsync.sh實現同步

#!/bin/bash
SRC='/data/'  //需要同步的目錄
DEST='[email protected]::backup'  //同步到的目錄
inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w %f' -e create,delete,moved_to,close_write,attrib ${SRC} |while read DATE TIME DIR FILE;do
FILEPATH=${DIR}${FILE}
rsync -az --delete --password-file=/etc/rsync.pass $SRC $DEST &&  echo "At ${TIME} on ${DATE}, file $FILEPATH was backuped up via rsync" >> /var/log/changelist.log
done

10.inotifywait命令常見選項

-m, --monitor 始終保持事件監聽
-d, --daemon 以守護進程方式執行，和-m相似，配合-o使用
-r, --recursive 遞歸監控目錄數據信息變化
-q, --quiet 輸出少量事件信息
--timefmt <fmt> 指定時間輸出格式
--format <fmt> 指定的輸出格式；即實際監控輸出內容
-e 指定監聽指定的事件，如果省略，表示所有事件都進行監聽
--exclude <pattern> 指定排除文件或目錄，使用擴展的正則表達式匹配的模式實現
--excludei <pattern> 和exclude相似，不區分大小寫
-o, --outfile <file>打印事件到文件中，相當於標準正確輸出
-s, --syslogOutput 發送錯誤到syslog相當於標準錯誤輸出

11. --timefmt <fmt>時間格式，參考 man 3 strftime

%Y 年份信息，包含世紀信息
%y 年份信息，不包括世紀信息
%m 顯示月份，範圍 01-12
%d 每月的第幾天，範圍是 01-31
%H 小時信息，使用 24小時制，範圍 00-23
%M 分鐘，範圍 00-59

12.--format <fmt> 格式定義

%T 輸出時間格式中定義的時間格式信息，通過 --timefmt option 語法格式指定時間信息
%w事件出現時，監控文件或目錄的名稱信息
%f 事件出現時，將顯示監控目錄下觸發事件的文件或目錄信息，否則爲空
%e 顯示發生的事件信息，不同的事件默認用逗號分隔
%Xe顯示發生的事件信息，不同的事件指定用X進行分隔

13.-e 選項指定的事件類型

create 文件或目錄創建
delete 文件或目錄被刪除
modify 文件或目錄內容被寫入
attrib 文件或目錄屬性改變
close_write 文件或目錄關閉，在寫入模式打開之後關閉的
close_nowrite 文件或目錄關閉，在只讀模式打開之後關閉的
close 文件或目錄關閉，不管讀或是寫模式
open 文件或目錄被打開
moved_to 文件或目錄被移動到監控的目錄中
moved_from 文件或目錄從監控的目錄中被移動
move 文件或目錄不管移動到或是移出監控目錄都觸發事件
access 文件或目錄內容被讀取
delete_self 文件或目錄被刪除，目錄本身被刪除
unmount 取消掛載