rsync是Unix下的一款應用軟件,它能同步更新兩處計算機的文件與目錄,並適當利用差分編碼以減少數據傳輸。rsync中一項與其他大部分類似程序或協定中所未見的重要特性是鏡像對每個目標只需要一次傳送。rsync可拷貝/顯示目錄屬性,以及拷貝文件,並可選擇性的壓縮以及遞歸拷貝。在常駐模式(daemon mode)下,rsync默認監聽TCP端口873,以原生rsync傳輸協定或者通過遠程shell如RSH或者SSH伺服文件。SSH情況下,rsync客戶端運行程序必須同時在本地和遠程機器上安裝。
RSYNC軟件介紹:
rsync是類unix系統下的數據鏡像備份工具,從軟件的命名上就可以看出來了——remote sync。它的特性如下:
可以鏡像保存整個目錄樹和文件系統。
可以很容易做到保持原來文件的權限、時間、軟硬鏈接等等。
無須特殊權限即可安裝。
優化的流程,文件傳輸效率高。
可以使用rcp、ssh等方式來傳輸文件,當然也可以通過直接的socket連接。
支持匿名傳輸,以方便進行網站鏡象。
只允許客戶端從服務器同步內容到本地 不允許客戶端上傳數據。
如果有多臺源服務器要同步到同一臺目的服務器上,那麼最好是將源服務器設置成客戶端,目的服務器設置成服務器端,當然配置文件中要允許寫(read only = no)。
軟件下載
rysnc的主頁地址爲:http://rsync.samba.org/
目前最新版本爲3.1.0可以選擇從官網下載!
一、rsync的安裝!
a.首先去官網下載一個安裝包(目前最新的版本是3.1.0 2013-8-7)
wget http://rsync.samba.org/ftp/rsync/src-previews/rsync-3.1.0pre1.tar.gz
b.解壓: tar -zxvf rsync-3.1.0pre1.tar.gz
c.編譯安裝!
cd rsync-3.1.0pre1/
./configure --prefix=/usr/local/rsync
make
make install
以上過程沒有出現錯誤的話就安裝好了,現在就有rsync命令可以用了,rsync命令放在/usr/local/rsync/bin。用rsync命令可以去運行有rsync服務的服務器上抓取資料。
如果要把當前的機器變成一臺rsync服務器的話,就需要繼續進行一些配置了。
1.rsyncd.conf (rsync的配置文件需要自己創建)
# vi /etc/rsyncd.conf
rsyncd.conf是rsync服務的主要配置文件,它控制rsync服務的各種屬性,下面給出一個rsyncd.conf文件的例子:
#先定義整體變量
secrets file = /etc/rsyncd.secrets
motd file = /etc/rsyncd.motd
read only = yes #yes是客戶端只讀,no客戶端可以寫入
list = yes
uid = root
gid = root
hosts allow = 192.168.100.90 #哪些電腦可以訪問rsync服務
hosts deny = 192.168.100.0/24 #哪些電腦不可以訪問rsync服務
max connections = 2 #最多兩個連接
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
#再定義要rsync目錄,[]裏的名字自己定義,同步的時候會用到!
[terry]
comment = Terry 's directory from 192.168.100.21 #介紹說明
path = /home/terry #服務器端設置的同步的目錄
auth users = terry,rsync #客戶端連接服務端使用的賬戶.
[test]
comment = test rsync
path = /home/test
在上面的配置文件中,限定了192.168.100.0/24這個子網中,只有192.168.100.90的機器可以來訪問這臺rsync服務器的rsync服務。配置文件的後面部分定義了兩個rsync的目錄,terry目錄是隻有知道terry、rsync兩個賬號的人才能使用的,而 text目錄是無需賬號就可以訪問的。rsync在定義目錄時還提供了一些其它選項,可以作更嚴格的控制。
2.rsyncd.secrets
# vi /etc/rsyncd.secrets
rsyncd.secrets是存儲rsync服務的用戶名和密碼的,它是一個明文的文本文件,下面給出一個服務端rsyncd.secrets文件的例子:
terry:12345
rsync:abcde
客戶端的rsyncd.secrets文件直接寫密碼
123456 #一定要和使用的賬戶對應哦!
因爲rsyncd.secrets存儲了rsync服務的用戶名和密碼,所以非常重要,因此文件的屬性必須設爲600,只有所有者可以讀寫不然報錯!:
# chmod 600 /etc/rsyncd.secrets
3.rsyncd.motd
# vi /etc/rsyncd.motd
rsyncd.motd記錄了rsync服務的歡迎信息,你可以在其中輸入任何文本信息,如:
Welcome to use the rsync services!
# vi /etc/services
services並不是rsync的配置文件,這一步也可以不做。而修改了services文件的好處就在於系統知道873端口對就的服務名爲rsync。修改services的方法就是確保services中有如下兩行,沒有的話就自行加入:
rsync 873/tcp # rsync
rsync 873/udp # rsync
5./etc/xinetd.d/rsync
# vi /etc/xinetd.d/rsync
建立一個名爲/etc/xinetd.d/rsync文件,輸入以下內容:
service rsync
{
disable = no
socket_type = stream
wait = no
user = root
server = /usr/local/rsync/bin/rsync
server_args = --daemon
log_on_failure += USERID
}
保存後,就可以運行rsync服務了。輸入以下命令:
/usr/local/rsync/bin/rsync --daemon
這樣rsync服務就在這臺機器上(192.168.100.21)運行起來了,接下來就是如何來使用它了。
三、rsync命令的用法
在配置完rsync服務器後,就可以從客戶端發出rsync命令來實現各種同步的操作。rsync有很多功能選項,下面就對介紹一下常用的選項:
rsync的命令格式可以爲:
1. rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
2. rsync [OPTION]... [USER@]HOST:SRC DEST
3. rsync [OPTION]... SRC [SRC]... DEST
4. rsync [OPTION]... [USER@]HOST::SRC [DEST]
5. rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
6. rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
rsync有六種不同的工作模式:
1. 拷貝本地文件;當SRC和DES路徑信息都不包含有單個冒號":"分隔符時就啓動這種工作模式。
2.使用一個遠程shell程序(如rsh、ssh)來實現將本地機器的內容拷貝到遠程機器。當DST路徑地址包含單個冒號":"分隔符時啓動該模式。
3.使用一個遠程shell程序(如rsh、ssh)來實現將遠程機器的內容拷貝到本地機器。當SRC地址路徑包含單個冒號":"分隔符時啓動該模式。
4. 從遠程rsync服務器中拷貝文件到本地機。當SRC路徑信息包含"::"分隔符時啓動該模式。
5. 從本地機器拷貝文件到遠程rsync服務器中。當DST路徑信息包含"::"分隔符時啓動該模式。
6. 列遠程機的文件列表。這類似於rsync傳輸,不過只要在命令中省略掉本地機信息即可。
下面以實例來說明:
# rsync -vazu [email protected]:/terry/ /home #把服務端的數據同步到client端(在client端執行此命令).
#/usr/local/rsync/bin/rsync -vazu /web/src/pcre-8.32* [email protected]::src
#把client端的pcre-8.32*文件同步到server端的配置文件中[src]對應的目錄!(在client端執行此命令)
v詳細提示
a以archive模式操作,複製目錄、符號連接
z壓縮
u只進行更新,防止本地新文件被重寫,注意兩者機器的時鐘的同時
-progress指顯示
以上命令是保持客戶機192.168.100.90上的/home/terry目錄和rsync服務器上的terry目錄同步。該命令執行同步之前會要求你輸入terry賬號的密碼,這個賬號是我們前面在rsyncd.secrets文件中定義的。如果想將這條命令寫到一個腳本中,然後定時執行它的話,可以使用--password-file選項,具體命令如下:
# rsync -vazu -progress --password-file=/etc/rsync.secret [email protected]:/terry/ /home
要使用--password-file選項,就得先建立一個存放密碼的文件,這裏指定爲/etc/rsync.secrets。其內容很簡單,如下:
terry:12345 #rsync.secrets文件在服務端格式是: 用戶名:密碼 客戶端的格式是: 密碼 (客戶端只寫密碼就行了!)
同樣要修改文件屬性如下:
# chmod 600 /etc/rsyncd.secrets
四、利用rsync保持Linux服務器間的文件同步實例
現在假設有兩臺Linux服務器A(192.168.100.21)和B(192.168.100.90),服務器A中的/home/terry和服務器B中的/home/terry這兩個目錄需要保持同步,也就是當服務器A中文件發生改變後,
服務器B中的文件也要對應去改變。
我們按上面的方法,在服務器A上安裝rsync,並將其配置爲一臺rsync服務器,並將/home/terry目錄配置成rsync共享出的目錄。然後在服務器B上安裝rsync,因爲B只做客戶端,所以無需配置。然後在服務器B,建立以下腳本:
#!/bin/bash
/usr/loca/rsync/bin/rsync -vazu -progress --delete --password-file=/etc/rsync.secret [email protected]:/terry/ /home
將這個腳本保存爲AtoB.sh,並加上可執行屬性:
# chmod 755 /root/AtoB.sh
然後,通過crontab設定,讓這個腳本每30分鐘運行一次。執行命令:
# crontab -e
輸入以下一行:
0,30 * * * * /root/AtoB.sh
保存退出,這樣服務器B每個小時的0分和30分時都會自動運行一次AtoB.sh,AtoB.sh是負責保持服務器B和服務器A同步的。這樣就保證了服務器A的所有更新在30鍾後,服務器B也一樣取得了和服務器A一樣的最新的資料。
五、其它應用
rsync除了同步文件及目錄之外,還可以利用它來實現對遠程網站的遠程備份。如果再結合腳本和Crontab就能實現定時自動遠程備份。其可以實現與商業化的備份和鏡象產品的類似效果,但完全免費。
轉自:http://hi.baidu.com/rhca/blog/item/e3175fe7ef99202ab838202c.html
rsync報錯處理!!
rsync: recv_generator: mkdir "/downloads" (in downloads) failed: Permission denied (13)
*** Skipping any contents from this failed directory ***
如果rsync的訪問日誌裏面有上面類型的錯誤,嘗試下面的解決方法!!