在服務器中，通常結合計劃任務、shell腳本來執行本地備份。爲了進一步提高備份的可靠性，使用異地備份也是非常重要的，利用rsync工具，可以實現快速、高效的異地備份。本篇博客將配置rsync+crond實現定時備份、配置ssh+rsync+inotify實現觸發式備份
rsync概述
rsync（Remote Sync，遠程同步）是一個開源的快速備份工具，適用於異地備份、鏡像服務器等。作爲一種最常用的文件備份工具，往往是Linux和UNIX系統默認安裝的基本組件之一
具有以下特性：
（1）可以在不同主機間鏡像同步整個目錄樹和文件系統
（2）可以很容易做到保持原來文件的權限、時間、軟硬鏈接等
（3）支持增量備份
（3）無須特殊權限即可安裝
（4）優化的同步算法，傳輸前執行壓縮，文件傳輸效率高
（5）可以使用 rsh、ssh 方式來傳輸文件
（6）支持匿名傳輸，以方便進行網站鏡象
1. 配置rsync同步源
rsync作爲同步源時以守護進程運行，爲其他客戶機提供備份源。需要建立rsync.conf，創建備份賬戶
[root@localhost ~]# vim /etc/rsyncd.conf uid = nobody gid = nobody use chroot = yes //禁錮在源目錄 address = 192.168.1.1 //監聽地址 port 873 //監聽端口 log file = /var/log/rsyncd.log //日誌文件位置 pid file = /var/run/rsyncd.pid //進程ID存放位置 hosts allow = 192.168.1.0/24 //允許訪問的客戶機地址 [wwwroot] //共享模塊名稱 path = /var/www/html //源目錄的路徑 comment = Document Root of www1.benet.com //描述信息 read only = yes //是否爲只讀 dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z //同步時不在壓縮的文件類型 auth users = backuper //授權賬戶，如果採用匿名賬戶，可以去掉 secrets file = /etc/rsyncd_users.db //存放授權賬戶信息的數據文件 [root@localhost ~]# vim /etc/rsyncd_users.db //爲備份賬戶建立數據文件 backuper:123.abc //用：分隔賬戶和密碼，無需建立同名系統用戶 [root@localhost ~]# chmod 600 /etc/rsyncd_users.db //修改權限，避免信息泄露 [root@localhost ~]# ls -ld /var/www/html/ //backuper備份用戶需要對源目錄擁有讀取權限 drwxr-xr-x. 3 root root 4096 1月 8 05:28 /var/www/html/ [root@localhost ~]# vim /etc/sysconfig/selinux //關閉selinux SELINUX=disabled [root@localhost ~]# setenforce 0 //立即生效 [root@localhost ~]# iptables -I INPUT -p tcp --dport 873 -j ACCEPT //允許tcp873端口通過防火牆 [root@localhost ~]# rsync --daemon //啓動rsync服務 [root@localhost ~]# netstat -anpt | grep rsync tcp 0 0 192.168.1.1:873 0.0.0.0:* LISTEN 4734/rsync [root@localhost ~]# kill $(cat /var/run/rsyncd.pid) //若需要關閉rsync服務，可結束kill進程
2. 在發起端使用rsync備份
（1）rsync命令格式及常用備份選項
rsync [選項] 原始位置 目標位置
下面是rsync選項的詳細介紹，具體應根據實際需求進行選擇
-v, --verbose 詳細模式輸出
-q, --quiet 精簡輸出模式
-c, --checksum 打開校驗開關，強制對文件傳輸進行校驗
-a, --archive 歸檔模式，表示以遞歸方式傳輸文件，並保持所有文件屬性，等於-rlptgoD
-r, --recursive 對子目錄以遞歸模式處理
-R, --relative 使用相對路徑信息
-b, --backup 創建備份，也就是對於目的已經存在有同樣的文件名時，將老的文件重新命名爲~filename。可以使用--suffix選項來指定不同的備份文件前綴。
--backup-dir 將備份文件(如~filename)存放在在目錄下。
-suffix=SUFFIX 定義備份文件前綴
-u, --update 僅僅進行更新，也就是跳過所有已經存在於DST，並且文件時間晚於要備份的文件。(不覆蓋更新的文件)
-l, --links 保留軟鏈接
-L, --copy-links 想對待常規文件一樣處理軟鏈結
--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結
--safe-links 忽略指向SRC路徑目錄樹以外的鏈結
-H, --hard-links 保留硬鏈結
-p, --perms 保持文件權限
-o, --owner 保持文件屬主信息
-g, --group 保持文件屬組信息
-D, --devices 保持設備文件信息
-t, --times 保持文件時間信息
-S, --sparse 對稀疏文件進行特殊處理以節省DST的空間
-n, --dry-run 現實哪些文件將被傳輸
-W, --whole-file 拷貝文件，不進行增量檢測
-x, --one-file-system 不要跨越文件系統邊界
-B, --block-size=SIZE 檢驗算法使用的塊尺寸，默認是700字節
-e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步
--rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息
-C, --cvs-exclude 使用和CVS一樣的方法自動忽略文件，用來排除那些不希望傳輸的文件
--existing 僅僅更新那些已經存在於DST的文件，而不備份那些新創建的文件
--delete 刪除那些DST中SRC沒有的文件
--delete-excluded 同樣刪除接收端那些被該選項指定排除的文件
--delete-after 傳輸結束以後再刪除
--ignore-errors 及時出現IO錯誤也進行刪除
--max-delete=NUM 最多刪除NUM個文件
--partial 保留那些因故沒有完全傳輸的文件，以是加快隨後的再次傳輸
--force 強制刪除目錄，即使不爲空
--numeric-ids 不將數字的用戶和組ID匹配爲用戶名和組名
--timeout=TIME IP 超時時間，單位爲秒
-I, --ignore-times 不跳過那些有同樣的時間和長度的文件
--size-only 當決定是否要備份文件時，僅僅察看文件大小而不考慮文件時間
--modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口，默認爲0
-T --temp-dir=DIR 在DIR中創建臨時文件
--compare-dest=DIR 同樣比較DIR中的文件來決定是否需要備份
-P 等同於 --partial--progress 顯示備份過程
-z, --compress 對備份的文件在傳輸時進行壓縮處理
--exclude=PATTERN 指定排除不需要傳輸的文件模式
--include=PATTERN 指定不排除而需要傳輸的文件模式-
-exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 綁定到特定的地址
--config=FILE 指定其他的配置文件，不使用默認的rsyncd.conf文件
--port=PORT 指定其他的rsync服務端口
--blocking-io 對遠程shell使用阻塞IO
-stats 給出某些文件的傳輸狀態
--progress 在傳輸時現實傳輸過程
--log-format=formAT 指定日誌文件格式
--password-file=FILE 從FILE中得到密碼
--bwlimit=KBPS 限制I/O帶寬，KBytes per second-h,
--help 顯示幫助信息
（2）配置源的表示方法
rsync同步源的資源表示方法有兩種：
方法一：用戶名@主機地址::共享模塊名
方法二：rsync://用戶名@主機地址/共享模塊名
例如：執行以下操作將訪問同步源，並下載到本地目錄/root下進行備份
[root@localhost ~]# rsync -avz [email protected]::wwwroot /root //兩種操作達成效果一樣 Password: [root@localhost ~]# rsync -avz rsync://[email protected]/wwwroot /root Password:
配置rsync+crond定時備份
在實際生產環境中，備份工作通常是按計劃重複執行的，可以結合crond服務來定期執行備份計劃
案例：每天晚上23:30對源服務器的網站目錄做一次同步，同步到/myweb目錄下
爲了在同步中不使用密碼，需要創建一個密碼文件
[root@localhost ~]# mkdir /myweb //創建備份文件夾 [root@localhost ~]# vim /etc/service.pass //創建密碼文件 [root@localhost ~]# chmod 600 /etc/server.pass //設置權限，防止泄露 [root@localhost ~]# crontab -e //設置定時任務計劃，每晚23:30進行同步 30 23 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass [email protected]::wwwroot /myweb [root@localhost ~]# chkconfig crond on //重啓crond服務 [root@localhost ~]# service crond restart [root@localhost ~]# ls /myweb/ //驗證同步結果 index.html index.php
配置ssh+rsync+inotify實時同步
Linux內核從版本2.6.13開始提供inotify通知接口，
用來監控文件系統的變動情況，並作出通知響應，如文件的存取、刪除、移動、修改等。利用這一機制，可以非常方便的實現文件異動告警、增量備份，並對文件或目錄的變動做出響應
通過rsync工具與inotify機制相結合，可以實現觸發式備份（實時同步）——只要原始位置的文檔發生變化，即可立即啓動增量備份操作，否則處於靜默狀態，避免了固定週期備份時存在的延遲性、週期過密等問題
1. 調整inotify內核參數
Linux內核中，默認的inotify機制提供了三個調控參數，分別表示監控事件隊列、最多監控實例數、每個實例最多監控文件數。當需要監控的目錄、文件數量過多時，建議加大這三個參數
[root@localhost ~]# cat /proc/sys/fs/inotify/max_queued_events 16384 //監控事件隊列默認16384 [root@localhost ~]# cat /proc/sys/fs/inotify/max_user_instances 128 //最多監控實例數默認128 [root@localhost ~]# cat /proc/sys/fs/inotify/max_user_watches 8192 //每個實例最多監控文件數默認8192 [root@localhost ~]# vim /etc/sysctl.conf //如果監控文件過多，建議加大數量 fs.inotify.max_queued_events=16384 //添加三行 fs.inotify.max_user_instances=1024 fs.inotify.max_user_watches=1048576 [root@localhost ~]# sysctl -p //立即生效
2. 安裝inotify-tool
使用inotify機制需要安裝inotify-tool，以便提供inotifywait、inotifywatch輔助工具程序，用來監控、彙總改動情況。可從網站http://inotify-tool.sourceforge.net下載
[root@localhost ~]# tar zxf inotify-tools-3.14.tar.gz [root@localhost ~]# cd inotify-tools-3.14 [root@localhost inotify-tools-3.14]# ./configure && make && make install [root@localhost inotify-tools-3.14]# cd ~ [root@localhost ~]# inotifywait -mrq -e modify,create,move,delete /var/www/html/ 輸入命令後，切換終端向/var/www/html/目錄添加、移動文件，跟蹤屏幕輸出結果，信息如下： /var/www/html/ CREATE index.php //創建index.php文件 /var/www/html/ MODIFY index.php //修改index.php文件 /var/www/html/ MOVED_FROM index.php //重命名index.php文件 /var/www/html/ MOVED_TO ysf.php //改名爲ysf.php文件
上述命令中
inotifywait：可監控modify（修改）、create（創建）、move（移動）、delete（刪除）、attrib（屬性更改）等各種事件，一有變動立即輸出結果
inotifywatch：可用來收集文件系統變動情況，並在運行結束後輸出彙總的變化情況
-m 表示持續監控
-r 表示遞歸整個目錄
-q 表示簡化輸出信息
-e 用來指定監控哪些事件
3. 在rsync同步源啓用密鑰對驗證
[root@localhost html]# vim /etc/ssh/sshd_config //修改sshd服務配置文件 PubkeyAuthentication yes //找到這兩項，去掉註釋 AuthorizedKeysFile .ssh/authorized_keys [root@localhost html]# service sshd reload //重載服務
4. 在rsync發起端創建ssh密鑰對，並將公鑰導入到服務器公鑰文本
[root@localhost ~]# ssh-keygen -t rsa //使用RSA算法生成密鑰對 Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: //按三下Enter鍵，實現無口令登錄 [root@localhost ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] //將公鑰文件上傳到rsync同步源 The authenticity of host '192.168.1.1 (192.168.1.1)' can't be established. RSA key fingerprint is e5:c6:c7:96:30:eb:04:00:da:e9:43:72:67:d7:ff:e3. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added '192.168.1.1' (RSA) to the list of known hosts. [email protected]'s password: //輸入同步源用戶密碼 Now try logging into the machine, with "ssh '[email protected]'", and check in: .ssh/authorized_keys to make sure we haven't added extra keys that you weren't expecting [root@localhost ~]# ssh [email protected] //成功登錄sync同步源 [root@localhost ~]# ifconfig eth0 eth0 Link encap:Ethernet HWaddr 00:0C:29:1C:B4:FB inet addr:192.168.1.1 Bcast:192.168.1.255 Mask:255.255.255.0
5. 編寫觸發式同步腳本
[root@localhost ~]# vim rsync.sh //編寫腳本，若進程已經存在，則忽略本次備份，避免併發執行rsync備份 #!/bin/bash INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/" RSYNC_CMD="rsync -azH --delete /var/www/html/ [email protected]:/var/www/html" $INOTIFY_CMD | while read DIRECTORY EVENT FILE do if [ $(pgrep rsync | wc -l) -le 0 ] ; then $RSYNC_CMD fi done [root@localhost ~]# chmod +x rsync.sh //添加執行權限，並且服務器開機自動運行此腳本 [root@localhost ~]# echo '/root/rsync.sh' >> /etc/rc.local
6. 驗證腳本是否正確
（1）執行腳本，並切換到本機/var/www/html目錄，執行增、刪、改等操作
（2）登錄到rsync同步源服務器，查看/var/www/html目錄下是否同步
