rsync 詳解

簡介

RSYNC=Remote Sync 遠程同步，與SCP的比較：scp=無法備份大量數據，類似windows的複製，rsync=邊複製 ，邊統計，邊比較。

Rysnc特性和優點

可以鏡像保存整個目錄樹和文件系統。
可以很容易做到保持原來文件的權限、時間、軟硬鏈接等等。
無須特殊權限即可安裝。
快速：第一次同步時 rsync 會複製全部內容，但在下一次只傳輸修改過的文件。
壓縮傳輸：rsync 在傳輸數據的過程中可以實行壓縮及解壓縮操作，因此可以使用更少的帶寬。
安全：可以使用scp、ssh等方式來傳輸文件，當然也可以通過直接的socket連接。
支持匿名傳輸，以方便進行網站鏡象。
選擇性保持：符號連接，硬鏈接，文件屬性，權限，時間等

常見備份分類

完整備份：每次備份都是從備份源將所有的文件或目錄備份到目的地
差量備份：備份上次完全備份以後有變化的數據(他針對的上次的完全備份,他備份過程中不清除存檔屬性)
增量備份：備份上次備份以後有變化的數據.(他不管是那種類型的備份,有變化的數據就備份,他會清除存檔屬性)

運行模式和端口

採用C/S模式（客戶端/服務器模式）[ 就是一個點到點的傳輸，直接使用rsync命令 ]
端口873

四個名詞的解釋

發起端：負責發起rsync同步操作的客戶機叫做發起端，通知服務器我要備份你的數據
備份源：負責相應來自客戶機rsync同步操作的服務器腳在備份源，需要備份的服務器
服務端：運行rsyncd服務，一般來說，需要備份的服務器
客戶端：存放備份數據

數據同步方式

推push：一臺主機負責把數據傳送給其他主機，服務器開銷很大，比較適合後端服務器少的情況
拉pull：所有主機定時去找一主機拉數據，可能就會導致數據緩慢
推：目的主機配置爲rsync服務器，源主機週期性的使用rsync命令把要同步的目錄推過去（需要備份的機器是客戶端，存儲備份的機器是服務端）
拉：源主機配置爲rsync服務器，目的主機週期性的使用rsync命令把要同步的目錄拉過來（需要備份的機器是服務端，存儲備份的機器是客戶端）
兩種方案，rsync都有對應的命令來實現。可理解爲相對於存儲備份的機器是推那存儲就是服務端。相對於存儲備份的機器是拉那存儲就是客戶端。

Xinetd管理Rsync工作原理

使用rsync來同步是先通過xinetd監聽873號端口，如果rsync進來的是873號端口，那麼xinetd就會通知它所管轄的rsync服務來做迴應，接下來就是rsync倆服務於之間的通訊

Rsync服務安裝

Rsync服務依賴Xinetd，是使用超級服務來管理的，需要在目標機器上安裝rsync服務端

yum -y install xinetd rsync
rsync --daemon
netstat -antup | grep 873

命令

-a, --archive archive mode 權限保存模式,相當於 -rlptgoD 參數，存檔，遞歸，保持屬性等
-r, --recursive 複製所有下面的資料，遞歸處理
-p, --perms 保留檔案權限 ，文件原有屬性
-t, --times 保留時間點，文件原有時間
-g, --group 保留原有屬組
-o, --owner 保留檔案所有者(root only)
-D, --devices 保留device資訊(root only)
-l, --links 複製所有的連接 ，拷貝連接文件
-z, --compress 壓縮模式, 當資料在傳送到目的端進行檔案壓縮.
-H, --hard-links 保留硬鏈接文件
-A, --acls 保留ACL屬性文件，需要配合–perms
-P,-P參數和 --partial --progress 相同.只是爲了把參數簡單化,表示傳進度
–version， 輸出rsync版本
-v , --verbose 複雜的輸出信息
-u, --update 僅僅進行更新，也就是跳過已經存在的目標位置，並且文件時間要晚於要備份的文件，不覆蓋新的文件
–port=PORT， 定義rsyncd(daemon)要運行的port(預設爲tcp 873)
–delete， 刪除那些目標位置有的文件而備份源沒有的文件
–password-file=FILE ，從 FILE 中得到密碼
–bwlimit=KBPS， 限制 I/O 帶寬
–filter “-filename”，需要過濾的文件
–exclude=filname，需要過濾的文件
–progress，顯示備份過程

常用的 –avz

例子

對test63網站根目錄的/var/www/html目錄備份到test64的/web-back

創建用戶

  [root@test64 ~]# useradd rget1  ;    echo rget1:123456 | chpasswd  #測試用戶，rget1用於下載
  [root@test63 ~]# useradd rget1   ; echo rget1:123456 | chpasswd

對目錄賦予ACL權限

[root@test63 ~]# mkdir /var/www/html/ -p
 [root@test63 ~]# setfacl -R -m user:rget1:rwx /var/www/html/                          #設置rget1的權限
[root@test63~]# setfacl -R -m default:rget1:rwx /var/www/html/
[root@test63 ~]# getfacl  /var/www/html
getfacl: Removing leading '/' from absolute path names
# file: var/www/html
# owner: root
# group: root
user::rwx
user:rget1:rwx
group::r-x
mask::rwx
other::r-x
default:user::rwx
default:user:rget1:rwx
default:group::r-x
default:mask::rwx
default:other::r-x

創建測試數據

[root@test63 ~]# cp -r /boot/* /var/www/html/                  #boot目錄下的所有數據作爲測試數據
[root@test64 ~]# mkdir /web-back
[root@test64 ~]# chown rget1:rget1 -R /web-back/
[root@test63 ~]# rsync -avz --delete /var/www/html/ [email protected]: /web-back/

使用系統配置文件/etc/rsyncd.conf來備份數據，創建備份賬戶，最後把rsync以deamon方式運行

rsyncd.conf配置文件

配置文件分爲兩部分：全局參數，模塊參數
全局參數：對rsync服務器生效，如果模塊參數和全局參數衝突，衝突的地方模塊參數生效
模塊參數：定義需要通過rsync輸出的目錄定義的參數

常見的全局參數

port          #→指定後臺程序使用的端口號，默認爲873。
uid            #→該選項指定當該模塊傳輸文件時守護進程應該具有的uid，配合gid選項使用可以確定哪些可以訪問怎麼樣的文件權限，默認值是" nobody"。
gid            #→該選項指定當該模塊傳輸文件時守護進程應該具有的gid。默認值爲" nobody"。
max connections        #→指定該模塊的最大併發連接數量以保護服務器，超過限制的連接請求將被告知隨後再試。默認值是0，也就是沒有限制。
lock file                  #→指定支持max connections參數的鎖文件，默認值是/var/run/rsyncd.lock。
motd file         #→" motd file"參數用來指定一個消息文件，當客戶連接服務器時該文件的內容顯示給客戶，默認
是沒有motd文件的。
log file             #→" log file"指定rsync的日誌文件，而不將日誌發送給syslog。
pid file              #→指定rsync的pid文件，通常指定爲“/var/run/rsyncd.pid”，存放進程ID的文件位置。
hosts allow =    #→單個IP地址或網絡地址   //允許訪問的客戶機地址

常見的模塊參數

主要是定義服務器哪個要被同步輸出，其格式必須爲“ [ 共享模塊名 ]” 形式，這個名字就是在 rsync 客戶端看到的名字，其實很像 Samba 服務器提供的共享名。而服務器真正同步的數據是通過 path 來指定的。

Comment         #→給模塊指定一個描述，該描述連同模塊名在客戶連接得到模塊列表時顯示給客戶。默認沒有描述定義。
Path                  #→指定該模塊的供備份的目錄樹路徑，該參數是必須指定的。
read only         #→yes爲只允許下載，no爲可以下載和上傳文件到服務器
exclude             #→用來指定多個由空格隔開的多個文件或目錄(相對路徑)，將其添加到exclude列表中。這等同於在客戶端命令中使用―exclude或----filter來指定某些文件或目錄不下載或上傳(既不可訪問)
exclude from   #→指定一個包含exclude模式的定義的文件名，服務器從該文件中讀取exclude列表定義，每個文件或目錄需要佔用一行
include             #→用來指定不排除符合要求的文件或目錄。這等同於在客戶端命令中使用--include來指定模式，結合include和exclude可以定義複雜的exclude/include規則。
include from   #→指定一個包含include模式的定義的文件名，服務器從該文件中讀取include列表定義。
auth users       #→該選項指定由空格或逗號分隔的用戶名列表，只有這些用戶才允許連接該模塊。這裏的用戶和系統用戶沒有任何關係。如果" auth users"被設置，那麼客戶端發出對該模塊的連接請求以後會被rsync請求challenged進行驗證身份這裏使用的challenge/response認證協議。用戶的名和密碼以明文方式存放在" secrets file"選項指定的文件中。默認情況下無需密碼就可以連接模塊(也就是匿名方式)。
secrets file      #→該選項指定一個包含定義用戶名:密碼對的文件。只有在" auth users"被定義時，該文件纔有作用。文件每行包含一個username:passwd對。一般來說密碼最好不要超過8個字符。沒有默認的secures file名，注意：該文件的權限一定要是600，否則客戶端將不能連接服務器。
hosts allow      #→指定哪些IP的客戶允許連接該模塊。定義可以是以下形式：
    單個IP地址，例如：192.167.0.1，多個IP或網段需要用空格隔開，
    整個網段，例如：192.168.0.0/24，也可以是192.168.0.0/255.255.255.0
“*”則表示所有，默認是允許所有主機連接。
hosts deny      #→指定不允許連接rsync服務器的機器，可以使用hosts allow的定義方式來進行定義。默認是沒有hosts deny定義。
list              #→該選項設定當客戶請求可以使用的模塊列表時，該模塊是否應該被列出。如果設置該選項爲false，
可以創建隱藏的模塊。默認值是true。
timeout   #→通過該選項可以覆蓋客戶指定的IP超時時間。通過該選項可以確保rsync服務器不會永遠等待一個崩潰的客戶端。超時單位爲秒鐘，0表示沒有超時定義，這也是默認值。對於匿名rsync服務器來說，一個理想的數字是600。

用配置文件定義目錄輸出

[root@test64 ~]# vim /etc/rsyncd.conf                    //文件不存在，需要自己創建
uid = root                           #運行進程的身份
gid = root                           #運行進程的組
address =192.168.0.64                       #監聽IP
port =873                               #監聽端口
hosts allow =192.168.0.0/24                        #允許同步客戶端的IP地址，可以是網段，或者用*表示所有 192.168.1.0/24或192.168.1.0/255.255.255.0
use chroot = yes                               #是否囚牢，鎖定家目錄，rsync被黑之後，黑客無法再rsync運行的家目錄之外創建文件，選項設置爲yes
max connections =5                             #最大連接數
pid file =/var/run/rsyncd.pid          #進程PID，自動生成
lock file =/var/run/rsync.lock         #指max connectios參數的鎖文件
log file =/var/log/rsyncd.log          #日誌文件位置
motd file =/etc/rsyncd.motd
          #客戶端登陸之後彈出的消息，需要創建
 
[wwwroot]                              #共享模塊名稱
path =/web-back/                      #路徑
comment = used for web-data root    #描述
read only = false                                 #設置服務端文件讀寫權限
list = yes                                         #是否允許查看模塊信息
auth users = rsyncuser                        #備份的用戶，和系統用戶無關
secrets file =/etc/rsync.passwd        #存放用戶的密碼文件，格式是  用戶名：密碼

創建提示文件和用戶密碼

[root@test64 ~]# echo "Welcome to Backup Server" > /etc/rsyncd.motd
[root@test64 ~]# vim /etc/rsync.passwd
rsyncuser:password123
[root@test64 ~]# chmod 600 /etc/rsync.passwd                 //目錄權限必須是700或者600，否則的話身份驗證會失效，設置rsync user的時候

啓動服務

systemctl start xinetd  #啓動xinetd服務
systemctl enable xinetd  #將xinetd服務加入開機項
rsync --daemon --config=/etc/rsyncd.conf  #加載配置文件rsyncd.conf啓動rsync服務

rsync語法

rsync 選項 用戶名@備份源服務器IP::共享模塊名 目標目錄

[root@test63 ~]# rsync -avz --delete  /var/www/html [email protected]::wwwroot 
Welcome to Backup Server
Password:       #輸入密碼password123

密碼處理

新建一個文件保存好密碼，然後在rsync命令中使用–password-file指定此文件即可

[root@test63 ~]# vim /etc/rsync.passwd 
password123 
[root@test63 ~]# chmod 600  /etc/rsync.passwd 
[root@test63 ~]#rsync -avz --delete  /var/www/html [email protected]::wwwroot --password-file=/etc/rsync.passwd 

Rsync+sersync實現數據實時同步

爲什麼要用rsync+sersync架構？

1、sersync是基於inotify開發的，類似於inotify-tools的工具
2、sersync可以記錄下被監聽目錄中發生變化的（包括增加、刪除、修改）具體某一個文件或者某一個目錄的名字，然後使用rsync同步的時候，只同步發生變化的文件或者目錄

rsync+inotify-tools與rsync+sersync架構的區別？

1、rsync+inotify-tools
a、inotify只能記錄下被監聽的目錄發生了變化（增，刪，改）並沒有把具體是哪個文件或者哪個目錄發生了變化記錄下來；
b、rsync在同步的時候，並不知道具體是哪個文件或目錄發生了變化，每次都是對整個目錄進行同步，當數據量很大時，整個目錄同步非常耗時（rsync要對整個目錄遍歷查找對比文件），因此效率很低

rsync+sersync

a、sersync可以記錄被監聽目錄中發生變化的（增，刪，改）具體某個文件或目錄的名字；
b、rsync在同步時，只同步發生變化的文件或目錄（每次發生變化的數據相對整個同步目錄數據來說很小，rsync在遍歷查找對比文件時，速度很快），因此效率很高。

同步過程：

1. 在同步服務器上開啓sersync服務，sersync負責監控配置路徑中的文件系統事件變化；
2. 調用rsync命令把更新的文件同步到目標服務器；
3. 需要在主服務器配置sersync，在同步目標服務器配置rsync server（注意：是rsync服務）

同步過程和原理：

1. 用戶實時的往sersync服務器上寫入更新文件數據；
2. 此時需要在同步主服務器上配置sersync服務；
3. 在另一臺服務器開啓rsync守護進程服務，以同步拉取來自sersync服務器上的數據；
   通過rsync的守護進程服務後可以發現，實際上sersync就是監控本地的數據寫入或更新事件；然後，在調用rsync客戶端的命令，將寫入或更新事件對應的文件通過rsync推送到目標服務器

環境準備

一臺裝sersync一臺裝rsync服務
Sersync服務器（數據源,源機器）：192.168.0.63
Rsync服務器（備份端,目標機器）：192.168.0.64

下載安裝包並解壓

wget https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz
tar xvf sersync2.5.4_64bit_binary_stable_final.tar.gz
mv GNU-Linux-x86 sersync

配置sersync

[root@test63 sersync]# cp confxml.xml confxml.xml.bak

更改優化sersync配置文件：

修改24–28行

<sersync>
        <localpath watch="/var/www/html">    #本地同步目錄
        <remote ip="192.168.0.64" name="wwwroot"/>   #rsync模塊名稱

修改31–34行，認證部分【rsync密碼認證】

<rsync>
            <commonParams params="-artuz"/>
            <auth start="true" users="rsyncuser" passwordfile="/etc/rsync.passwd"/>
            <userDefinedPort start="false" port="874"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>

開啓sersync守護進程同步數據

/root/sersync/sersync2  -d -r -o  /opt/sersync/confxml.xml

測試

在63 /var/www/html/ 目錄 增刪改目錄文件,
看64 /web-back 目錄的變化

[root@test64 web-back]# watch ls -l