Rsync的配置與使用

.介紹

Rsync 是一個遠程數據同步工具,可通過 LAN/WAN 快速同步多臺主機間的文件。 Rsync 本來是用以取代 rcp 的一個工具,它當前由 rsync.samba.org 維護。 Rsync 使用所謂的“ Rsync 演算法 ” 來使本地和遠程兩個主機之間的文件達到同步,這個算法只傳送兩個文件的不同部分,而不是每次都整份傳送,因此速度相當快。運行 Rsync server 的機器也叫 backup server ,一個 Rsync server 可同時備份多個 client 的數據;也可以多個 Rsync server 備份一個 client 的數據。

  Rsync 可以搭配 rsh 或 ssh 甚至使用 daemon 模式。 Rsync server 會打開一個 873 的服務通道 (port) ,等待對方 Rsync 連接。連接時, Rsync server 會檢查口令是否相符,若通過口令查覈,則可以開始進行文件傳輸。第一次連通完成時,會把整份文件傳輸一次,下一次就只傳送二個文件之間不同的部份。

  Rsync 支持大多數的類 Unix 系統,無論是 Linux 、 Solaris 還是 BSD 上都經過了良好的測試。此外,它在 windows 平臺下也有相應的版本,比較知名的有 cwRsync 和 Sync2NAS 。

  Rsync 的基本特點如下:

  1. 可以鏡像保存整個目錄樹和文件系統;

  2. 可以很容易做到保持原來文件的權限、時間、軟硬鏈接等;

  3. 無須特殊權限即可安裝;

  4. 優化的流程,文件傳輸效率高;

  5. 可以使用 rcp 、 ssh 等方式來傳輸文件,當然也可以通過直接的 socket 連接;

6. 支持匿名傳輸。


核心算法介紹:


假定在名爲α和β的兩臺計算機之間同步相似的文件 A 與 B ,其中α對文件 A 擁有訪問權,β對文件 B 擁有訪問權。並且假定主機α與β之間的網絡帶寬很小。那麼 rsync 算法將通過下面的五個步驟來完成:

  1. β將文件 B 分割成一組不重疊的固定大小爲 S 字節的數據塊。最後一塊可能會比 S 小。

  2. β對每一個分割好的數據塊執行兩種校驗:一種是 32 位的滾動弱校驗,另一種是 128 位的 MD4 強校驗。

  3. β將這些校驗結果發給α。

  4. α通過搜索文件 A 的所有大小爲 S 的數據塊 ( 偏移量可以任選,不一定非要是 S 的倍數 ) ,來尋找與文件 B 的某一塊有着相同的弱校驗碼和強校驗碼的數據塊。這項工作可以藉助滾動校驗的特性很快完成。

  5. α發給β一串指令來生成文件 A 在β上的備份。這裏的每一條指令要麼是對文件 B 經擁有某一個數據塊而不須重傳的證明,要麼是一個數據塊,這個數據塊肯定是沒有與文件 B 的任何一個數據塊匹配上的。


命令:


rsync 的命令格式可以爲以下六種:

  rsync [OPTION]... SRC DEST

  rsync [OPTION]... SRC [USER@]HOST:DEST

  rsync [OPTION]... [USER@]HOST:SRC DEST

  rsync [OPTION]... [USER@]HOST::SRC DEST

  rsync [OPTION]... SRC [USER@]HOST::DEST

  rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

  對應於以上六種命令格式, rsync 有六種不同的工作模式:

  1) 拷貝本地文件。當 SRC 和 DES 路徑信息都不包含有單個冒號 ":" 分隔符時就啓動這種工作模式。

  2) 使用一個遠程 shell 程序 ( 如 rsh 、 ssh) 來實現將本地機器的內容拷貝到遠程機器。當 DST 路徑地址包含單個冒號 ":" 分隔符時啓動該模式。

  3) 使用一個遠程 shell 程序 ( 如 rsh 、 ssh) 來實現將遠程機器的內容拷貝到本地機器。當 SRC 地址路徑包含單個冒號 ":" 分隔符時啓動該模式。

  4) 從遠程 rsync 服務器中拷貝文件到本地機。當 SRC 路徑信息包含 "::" 分隔符時啓動該模式。

  5) 從本地機器拷貝文件到遠程 rsync 服務器中。當 DST 路徑信息包含 "::" 分隔符時啓動該模式。

  6) 列遠程機的文件列表。這類似於 rsync 傳輸,不過只要在命令中省略掉本地機信息即可。




二.安裝 1. 從原始網站下載: [url]http://rsync.samba.org/ftp/rsync/[/url] (http://rsync.samba.org/ftp/rsync/rsync-3.0.7.tar.gz目前是這個版本)
windows版本: 客戶端: cwRsync_2.0.10_Installer http://blogimg.chinaunix.net/blog/upfile/070917224721.zip 服務端: cwRsync_Server_2.0.10_Installer      http://blogimg.chinaunix.net/blog/upfile/070917224837.zip
對 於client 和 server都是windows的,那麼可以直接安裝如上2個,然後可以通過建 windows的任務,實現定時處理,可以參考:http://blog.csdn.net/daizhj/archive/2009/11/03 /4765280.aspx
2.[root@localhost bin]#./configure[root@localhost bin]#make[root@localhost bin]#make install  這裏可能會有權限問題,切換到root用戶  Rsync配置
/etc/rsyncd.conf (默認是沒有的,可以手工創建)
#全局選項
strict modes =yes                         #是否檢查口令文件的權限
port = 873                                #默認端口873
log file = /var/log/rsyncd.log            #日誌記錄文件 原文中有的,我沒有使用,日誌文件
pid file = /usr/local/rsync/rsyncd.pid    #運行進程的ID寫到哪裏    原文中有的,我沒有使用,日誌文件

#模塊選項
[test]                                       # 這裏是認證的模塊名,在client端需要指定
max connections = 5                       #客戶端最大連接數,默認0(沒限制)             uid = root #指定該模塊傳輸文件時守護進程應該具有的uid
             gid = root #指定該模塊傳輸文件時守護進程應該具有的gid
              path = /home/admin/testrsync # 需要做備份的目錄
           ignore errors                   # 可以忽略一些無關的IO錯誤
           read only = no                  #no客戶端可上傳文件,yes只讀
           write only = no                 #no客戶端可下載文件,yes不能下載
           hosts allow = *                 #充許任何主機連接
           hosts deny = 10.5.3.77          #禁止指定的主機連接
           auth users = root # 認證的用戶名,如果沒有這行,則表明是匿名
           secrets file = /home/admin/security/rsync.pass # 指定認證口令文件位置

    
生成rsync密碼文件
在server端生成一個密碼文件/home/admin/security/rsync.pass
       
        vi rsync.pass

         root:hell05a
   

注意:密碼文件的權限,是由rsyncd.conf裏的參數
strict modes =yes/no 來決定
Rsync 的啓動
rsycn 的啓動方式有多種,我們在這裏介紹以下幾種:
●. 守護進程方式:(我現在只使用這個)
/usr/local/bin/rsync --daemon

驗證啓動是否成功
ps -aux |grep rsync
root        59120 0.0 0.2 1460    972 ?? Ss     5:20PM    0:00.00 /usr/local/rsync/bin/rsync –daemon

netstat -an |grep 873
tcp4        0       0 *.873                   *.*                     LISTEN 結束進程:kill -9 pid的值 kill -15 進程名   三.客戶端訪問:(客戶端也需要安裝 rsync,如果是windows,安裝cwrsync) 實例演示使用:
cd /usr/local/rsync/bin // rsync 安裝目錄下下載文件 下載文件:
./rsync -vzrtopg --progress --delete [email protected]::backup /home/admin/getfile

上傳文件: /usr/bin/rsync -vzrtopg --progress /home/admin/getfile [email protected]::backup
 Rsync 同步參數說明
-vzrtopg裏的v是verbose,z是壓縮,r是recursive,topg都是保持文件原有屬性如屬主、時間的參數。
--progress是指顯示出詳細的進度情況
--delete是指如果服務器端刪除了這一文件,那麼客戶端也相應把文件刪除
[email protected]中的root是指定密碼文件中的用戶名,xxx爲ip地址 backup 是指在rsyncd.conf裏定義的模塊名 /home/admin/getfile 是指本地要備份目錄  可能出現的問題:@ERROR: auth failed on module backuprsync error: error starting client-server protocol (code 5) at main.c(1506) [Receiver=3.0.7]那估計是密碼文件沒有設置權限哦: chmod 600 /home/admin/security/rsync.pass 應該差不多就可以了。   (2)打開rsync服務
#chkconfig xinetd on
#chkconfig rsync on
(4)啓動基於xinetd進程的rsync服務t
#/etc/init.d/xinetd start

3、配置windows的rsync客戶端
(1)安裝client端的rsync包
(2)打開cmd,執行同步計劃:
cd C:\Program Files\cwRsync\bin



下載同步 (把服務器上的東東下載當前目錄)rsync -vzrtopg --progress --delete [email protected]::backup ./ff


(此時須輸入root用戶的密碼,就可進行同步了。)



上傳同步 (把本地東東上傳到服務器)rsync -vzrtopg --progress ./get/ [email protected]::backup   參數說明 -v, --verbose 詳細模式輸出
-q, --quiet 精簡輸出模式
-c, --checksum 打開校驗開關,強制對文件傳輸進行校驗
-a, --archive 歸檔模式,表示以遞歸方式傳輸文件,並保持所有文件屬性,等於-rlptgoD
-r, --recursive 對子目錄以遞歸模式處理
-R, --relative 使用相對路徑信息
-b, --backup 創建備份,也就是對於目的已經存在有同樣的文件名時,將老的文件重新命名爲~filename。可以使用--suffix選項來指定不同的備份文件前綴。
--backup-dir 將備份文件(如~filename)存放在在目錄下。
-suffix=SUFFIX 定義備份文件前綴
-u, --update 僅僅進行更新,也就是跳過所有已經存在於DST,並且文件時間晚於要備份的文件。(不覆蓋更新的文件)
-l, --links 保留軟鏈結
-L, --copy-links 想對待常規文件一樣處理軟鏈結
--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結
--safe-links 忽略指向SRC路徑目錄樹以外的鏈結
-H, --hard-links 保留硬鏈結      -p, --perms 保持文件權限
-o, --owner 保持文件屬主信息      -g, --group 保持文件屬組信息
-D, --devices 保持設備文件信息     -t, --times 保持文件時間信息
-S, --sparse 對稀疏文件進行特殊處理以節省DST的空間
-n, --dry-run現實哪些文件將被傳輸
-W, --whole-file 拷貝文件,不進行增量檢測
-x, --one-file-system 不要跨越文件系統邊界
-B, --block-size=SIZE 檢驗算法使用的塊尺寸,默認是700字節
-e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步
--rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息
-C, --cvs-exclude 使用和CVS一樣的方法自動忽略文件,用來排除那些不希望傳輸的文件
--existing 僅僅更新那些已經存在於DST的文件,而不備份那些新創建的文件
--delete 刪除那些DST中SRC沒有的文件
--delete-excluded 同樣刪除接收端那些被該選項指定排除的文件
--delete-after 傳輸結束以後再刪除
--ignore-errors 及時出現IO錯誤也進行刪除
--max-delete=NUM 最多刪除NUM個文件
--partial 保留那些因故沒有完全傳輸的文件,以是加快隨後的再次傳輸
--force 強制刪除目錄,即使不爲空
--numeric-ids 不將數字的用戶和組ID匹配爲用戶名和組名
--timeout=TIME IP超時時間,單位爲秒
-I, --ignore-times 不跳過那些有同樣的時間和長度的文件
--size-only 當決定是否要備份文件時,僅僅察看文件大小而不考慮文件時間
--modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口,默認爲0
-T --temp-dir=DIR 在DIR中創建臨時文件
--compare-dest=DIR 同樣比較DIR中的文件來決定是否需要備份
-P 等同於 --partial
--progress 顯示備份過程
-z, --compress 對備份的文件在傳輸時進行壓縮處理
--exclude=PATTERN 指定排除不需要傳輸的文件模式
--include=PATTERN 指定不排除而需要傳輸的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 綁定到特定的地址
--config=FILE 指定其他的配置文件,不使用默認的rsyncd.conf文件
--port=PORT 指定其他的rsync服務端口
--blocking-io 對遠程shell使用阻塞IO
-stats 給出某些文件的傳輸狀態
--progress 在傳輸時現實傳輸過程
--log-format=formAT 指定日誌文件格式
--password-file=FILE 從FILE中得到密碼
--bwlimit=KBPS 限制I/O帶寬,KBytes per second       -h, --help 顯示幫助信息


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章