linux rsync同步命令

原文:https://www.jb51.net/article/74589.htm

 

說到“同步”,不得不提的利器就是rsync,今天就來說說我從這個工具中看到的同步的藝術。

[不帶任何選項]

我們經常這樣使用rsync:

 

複製代碼代碼如下:

$ rsync main.c machineB:/home/userB

 

1 只要目的端的文件內容和源端不一樣,就會觸發數據同步,rsync會確保兩邊的文件內容一樣。

2 但rsync不會同步文件的“modify time”,凡是有數據同步的文件,目的端的文件的“modify time”總是會被修改爲最新時刻的時間。

3 rsync不會太關注目的端文件的rwx權限,如果目的端沒有此文件,那麼權限會保持與源端一致;如果目的端有此文件,則權限不會隨着源端變更。

4 只要rsync有對源文件的讀權限,且對目標路徑有寫權限,rsync就能確保目的端文件同步到和源端一致。

5 rsync只能以登陸目的端的賬號來創建文件,它沒有能力保持目的端文件的輸主和屬組和源端一致。(除非你使用root權限,纔有資格要求屬主一致、屬組一致)

[-t選項]

我們經常這樣使用-t選項:

 

複製代碼代碼如下:

$ rsync -t main.c machineB:/home/userB

 

1 使用-t選項後,rsync總會想着一件事,那就是將源文件的“modify time”同步到目標機器。

2 帶有-t選項的rsync,會變得更聰明些,它會在同步前先對比兩邊文件的時間戳和文件大小,如果一致,則就認爲兩邊文件一樣,對此文件就不再採取更新動作了。

3 因爲rsync的聰明,也會反被聰明誤。如果目的端的文件的時間戳、大小和源端完全一致,但是內容恰巧不一致時,rsync是發現不了的。這就是傳說中的“坑”!

4 對於rsync自作聰明的情況,解決辦法就是使用-I選項。

[-I選項]

我們經常這樣使用-I選項:

 

複製代碼代碼如下:

$ rsync -I main.c machineB:/home/userB

 

 

1 -I選項會讓rsync變得很乖很老實,它會挨個文件去發起數據同步。

2 -I選項可以確保數據的一致性,代價便是速度上會變慢,因爲我們放棄了“quick check”策略。(quick check策略,就是先查看文件的時間戳和文件大小,依次先排除一批認爲相同的文件)

3 無論情況如何,目的端的文件的modify time總會被更新到當前時刻。

【-v選項】

這個選項,簡單易懂,就是讓rsync輸出更多的信息,我們可以舉一個例子:

1

2

3

4

$ rsync -vI main.c machineB:/home/userB                         

main.c

sent 81 bytes received 42 bytes 246.00 bytes/sec

total size is 11 speedup is 0.09

你增加越多的v,就可以獲得越多的日誌信息。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

$ rsync -vvvvt abc.c machineB:/home/userB

cmd= machine=machineB user= path=/home/userB

cmd[0]=ssh cmd[1]=machineB cmd[2]=rsync cmd[3]=--server cmd[4]=-vvvvte. cmd[5]=. cmd[6]=/home/userB

opening connection using: ssh machineB rsync --server -vvvvte. . /home/userB

note: iconv_open("ANSI_X3.4-1968", "ANSI_X3.4-1968") succeeded.

(Client) Protocol versions: remote=28, negotiated=28

(Server) Protocol versions: remote=30, negotiated=28

[sender] make_file(abc.c,*,2)

[sender] flist start=0, used=1, low=0, high=0

[sender] i=0 abc.c mode=0100664 len=11 flags=0

send_file_list done

file list sent

send_files starting

server_recv(2) starting pid=31885

recv_file_name(abc.c)

received 1 names

[receiver] i=0  abc.c mode=0100664 len=11

recv_file_list done

get_local_name count=1 /home/userB

recv_files(1) starting

generator starting pid=31885 count=1

delta transmission enabled

recv_generator(abc.c,0)

abc.c is uptodate

generate_files phase=1

send_files phase=1

recv_files phase=1

generate_files phase=2

send files finished

total: matches=0 hash_hits=0 false_alarms=0 data=0

generate_files finished

recv_files finished

client_run waiting on 14318

sent 36 bytes received 16 bytes 104.00 bytes/sec

total size is 11 speedup is 0.21

_exit_cleanup(code=0, file=main.c, line=1031): entered

_exit_cleanup(code=0, file=main.c, line=1031): about to call exit(0)

[-z選項]

這是個壓縮選項,只要使用了這個選項,rsync就會把發向對端的數據先進行壓縮再傳輸。對於網絡環境較差的情況下建議使用。

一般情況下,-z的壓縮算法會和gzip的一樣。

[-r選項]

我們在第一次使用rsync時,往往會遇到這樣的囧境:

1

2

$ rsync superman machineB:/home/userB

skipping directory superman

如果你不額外告訴rsync你需要它幫你同步文件夾的話,它是不會主動承擔的,這也正是rsync的懶惰之處。

所以,如果你真的想同步文件夾,那就要加上-r選項,即recursive(遞歸的、循環的),像這樣:

1

$ rsync -r superman machineB:/home/userB

我們在上面的講解中說過,如果時間戳和文件大小完全一致,只有文件內容不同,且你沒有使用-I選項的話,那麼,rsync是不會進行數據同步的。

那麼,提個問題:“因爲在Linux的世界裏,文件夾也是文件,如果這類文件(文件夾)也只有內容不同,而時間戳和文件大小都相同,rsync會發現麼?”

實驗大家可以自己動手做,結論在這裏告訴大家:

對於文件夾,rsync是會明察秋毫的,只要你加了-r選項,它就會恪盡職守的進入到文件夾裏去檢查,而不會只對文件夾本身做“quick check”的。

[-l選項]

如果我們要同步一個軟鏈接文件,你猜rsync會提示什麼?

1

2

3

4

5

6

$ ll

total 128

-rw-rw-r-- 1 userA userA 11 Dec 26 07:00 abc.c

lrwxrwxrwx 1 userA userA 5 Dec 26 11:35 softlink -> abc.c

$ rsync softlink machineB:/home/userB

skipping non-regular file "softlink"

嗯,你猜對了,rsync又無情地拒絕了我們。它一旦發現某個文件是軟鏈接,就會無視它,除非我們增加-l選項。

 

複製代碼代碼如下:


$ rsync -l softlink machineB:/home/userB

 

使用了-l選項後,rsync會完全保持軟鏈接文件類型,原原本本的將軟鏈接文件複製到目的端,而不會“follow link”到指向的實體文件。

如果我偏偏就想讓rsync採取follow link的方式,那就用-L選項就可以了。你可以自己試試效果。

[-p選項]

這個選項的全名是“perserve permissions”,顧名思義,就是保持權限。

如果你不使用此選項的話,rsync是這樣來處理權限問題的:

1 如果目的端沒有此文件,那麼在同步後會將目的端文件的權限保持與源端一致;

2 如果目的端已存在此文件,那麼只會同步文件內容,權限保持原有不變。

如果你使用了-p選項,則無論如何,rsync都會讓目的端保持與源端的權限一致的。

[-g選項和-o選項]

這兩個選項是一對,用來保持文件的屬組(group)和屬主(owner),作用應該很清晰明瞭。不過要注意的一點是,改變屬主和屬組,往往只有管理員權限纔可以。

[-D選項]

-D選項,原文解釋是“preserve devices(root only)”,從字面意思看,就是保持設備文件的原始信息。由於博主沒有實際體驗過它的好處,所以沒有太多發言權。

[-a選項]

1 -a選項是rsync裏比較霸道的一個選項,因爲你使用-a選項,就相當於使用了-rlptgoD這一坨選項。以一敵七,唯-a選項也。(在看了前文之後,你應該可以很輕鬆的理解這七個選項的作用了)

2 -a選項的學名應該叫做archive option,中文叫做歸檔選項。使用-a選項,就表明你希望採取遞歸方式來同步,且儘可能的保持各個方面的一致性。

3 但是-a選項也有阿克琉斯之踵,那就是-a無法同步“硬鏈接”情況。如果有這方面需求,要加上-H選項。

[--delete選項、--delete-excluded選項和--delete-after選項]

三個選項都是和“刪除”有關的:

1 –delete:如果源端沒有此文件,那麼目的端也別想擁有,刪除之。(如果你使用這個選項,就必須搭配-r選項一起)

2 –delete-excluded:專門指定一些要在目的端刪除的文件。

3 –delete-after:默認情況下,rsync是先清理目的端的文件再開始數據同步;如果使用此選項,則rsync會先進行數據同步,都完成後再刪除那些需要清理的文件。

看到這麼多delete,你是否有點肝顫? 的確,在rsync的官方說明裏也有這麼一句話:

This option can be dangerous if used incorrectly! 
It is a very good idea to run first using the dry  run  option
(-n) to see what files would be deleted to make sure
important files aren't listed.

從這句話裏,我們學到了一個小技巧,那就是-n選項,它是一個嚇唬人的選項,它會用受影響的文件列表來警告你,但不會真的去刪除,這就讓我們有了確認的機會和迴旋的餘地。我們看看實際用法吧:

1

2

3

4

$ rsync -n --delete -r . machineB:/home/userB/

deleting superman/xxx

deleting main.c

deleting acclink

[--exclude選項和--exclude-from選項]

如果你不希望同步一些東西到目的端的話,可以使用–exclude選項來隱藏,rsync還是很重視大家隱私的,你可以多次使用–exclude選項來設置很多的“隱私”。

如果你要隱藏的隱私太多的話,在命令行選項中設置會比較麻煩,rsync還是很體貼,它提供了–exclude-from選項,讓你可以把隱私一一列在一個文件裏,然後讓rsync直接讀取這個文件就好了。

[--partial選項]

這就是傳說中的斷點續傳功能。默認情況下,rsync會刪除那些傳輸中斷的文件,然後重新傳輸。但在一些特別情況下,我們不希望重傳,而是續傳。

我們在使用中,經常會看到有人會使用-P選項,這個選項其實是爲了偷懶而設計的。以前人們總是要手動寫–partial –progress,覺得太費勁了,倒不如用一個新的選項來代替,於是-P應運而生了。有些讀者會問–partial我知道作用了,可–progress是幹什麼用的呢?爲什麼很多人要使用它呢,它有那麼大的吸引力?(真有…)

[--progress選項]

使用這個選項,rsync會顯示出傳輸進度信息,有什麼用呢,rsync給了一個很有意思的解釋:

This gives a bored user something to watch.

好了,寫了這麼多,大家看的已經很乏味了,去實際用用–progress解解悶,是個不錯的選擇 ^_^

下面給大家介紹的是rsync參數的具體解釋:

  • -v, --verbose 詳細模式輸出
  • -q, --quiet 精簡輸出模式
  • -c, --checksum 打開校驗開關,強制對文件傳輸進行校驗
  • -a, --archive 歸檔模式,表示以遞歸方式傳輸文件,並保持所有文件屬性,等於-rlptgoD
  • -r, --recursive 對子目錄以遞歸模式處理
  • -R, --relative 使用相對路徑信息
  • -b, --backup 創建備份,也就是對於目的已經存在有同樣的文件名時,將老的文件重新命名爲~filename。可以使用--suffix選項來指定不同的備份文件前綴。
  • --backup-dir 將備份文件(如~filename)存放在在目錄下。
  • -suffix=SUFFIX 定義備份文件前綴
  • -u, --update 僅僅進行更新,也就是跳過所有已經存在於DST,並且文件時間晚於要備份的文件。(不覆蓋更新的文件)
  • -l, --links 保留軟鏈結
  • -L, --copy-links 想對待常規文件一樣處理軟鏈結
  • --copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結
  • --safe-links 忽略指向SRC路徑目錄樹以外的鏈結
  • -H, --hard-links 保留硬鏈結
  • -p, --perms 保持文件權限
  • -o, --owner 保持文件屬主信息
  • -g, --group 保持文件屬組信息
  • -D, --devices 保持設備文件信息
  • -t, --times 保持文件時間信息
  • -S, --sparse 對稀疏文件進行特殊處理以節省DST的空間
  • -n, --dry-run現實哪些文件將被傳輸
  • -W, --whole-file 拷貝文件,不進行增量檢測
  • -x, --one-file-system 不要跨越文件系統邊界
  • -B, --block-size=SIZE 檢驗算法使用的塊尺寸,默認是700字節
  • -e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步
  • --rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息
  • -C, --cvs-exclude 使用和CVS一樣的方法自動忽略文件,用來排除那些不希望傳輸的文件
  • --existing 僅僅更新那些已經存在於DST的文件,而不備份那些新創建的文件
  • --delete 刪除那些DST中SRC沒有的文件
  • --delete-excluded 同樣刪除接收端那些被該選項指定排除的文件
  • --delete-after 傳輸結束以後再刪除
  • --ignore-errors 及時出現IO錯誤也進行刪除
  • --max-delete=NUM 最多刪除NUM個文件
  • --partial 保留那些因故沒有完全傳輸的文件,以是加快隨後的再次傳輸
  • --force 強制刪除目錄,即使不爲空
  • --numeric-ids 不將數字的用戶和組ID匹配爲用戶名和組名
  • --timeout=TIME IP超時時間,單位爲秒
  • -I, --ignore-times 不跳過那些有同樣的時間和長度的文件
  • --size-only 當決定是否要備份文件時,僅僅察看文件大小而不考慮文件時間
  • --modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口,默認爲0
  • -T --temp-dir=DIR 在DIR中創建臨時文件
  • --compare-dest=DIR 同樣比較DIR中的文件來決定是否需要備份
  • -P 等同於 --partial
  • --progress 顯示備份過程
  • -z, --compress 對備份的文件在傳輸時進行壓縮處理
  • --exclude=PATTERN 指定排除不需要傳輸的文件模式
  • --include=PATTERN 指定不排除而需要傳輸的文件模式
  • --exclude-from=FILE 排除FILE中指定模式的文件
  • --include-from=FILE 不排除FILE指定模式匹配的文件
  • --version 打印版本信息
  • --address 綁定到特定的地址
  • --config=FILE 指定其他的配置文件,不使用默認的rsyncd.conf文件
  • --port=PORT 指定其他的rsync服務端口
  • --blocking-io 對遠程shell使用阻塞IO
  • -stats 給出某些文件的傳輸狀態
  • --progress 在傳輸時現實傳輸過程
  • --log-format=formAT 指定日誌文件格式
  • --password-file=FILE 從FILE中得到密碼
  • --bwlimit=KBPS 限制I/O帶寬,KBytes per second
  • -h, --help 顯示幫助信息

一般同步傳輸目錄都使用azv選項.

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章