服務器文件同步的方法

1.介紹

現在的網站隨着訪問量的增加,單一服務器無法承擔巨大的訪問量,有沒有什麼方便快捷的方式解決這個問題呢,答案是”有”!比如建立服務器羣,進行均衡負載.
但是如果要解決像電信網通這樣的互訪問題(中國網民的悲哀..),這個解決辦法就無能爲了了!
要解決這個問題最方便快捷的方式就是建立鏡像網站!由訪問者自己選擇適合自己網絡的速度最快的網站!這樣即可以解決線路問題,又可以解決訪問量問題!

2.網站同步的數據分類

網站數據基本分爲兩類:
一類是文件,比如HTML,ASP,PHP等網頁文件,或者RAR,ZIP,RM,AVI等可下載文件!
要實現他們的同步很簡單,用FTP同步軟件就可以了!至於哪幾個我會在後面做詳細介紹.

一類是數據庫數據文件,比如MySQL,SQL Server等等!
數據庫同步的方法也很多,最簡單的辦法只是將數據庫目錄同步一下就OK了!
在後面我也會做詳細講解!

3.網站文件的同步

在這裏用到的主要工具就是FTP,網站文件同步分兩種情況,一種是本地到遠程,一種是遠程到遠程(FXP)!第一種不用說了,第二種遠程到遠程即FXP,支持它的軟件也很多,但是真正適合多網站同步鏡像的卻不多!
下面我介紹幾個我認爲不錯的軟件!(PS:如果熟悉FTP命令,完全可以自己製作一個批處理文件時間的)
1.首先我要推薦的是國產的FTP軟件”網絡傳神”,功能非常強大,特別是在網站的同步鏡像方面,可惜的是,這款非常經典的軟件已經不再更新了,最後更新時間是2003年3月,最後一個版本是3.12!雖然如此還是非常好用的!下面是一段官方的簡介:

網絡傳神完全吸收了Cuteftp和UpdataNow的全部功能，並且增加了其他軟件沒有的多項功能：支持網站互傳；支持網站同步(UPDATA NOW)；支持後臺上傳(多線程上傳多個文件)；可同時打開多個站點；多站點計劃上傳功能，支持鏡像站點；支持宏操作支持計劃操作；支持文件高級比較上傳；支持目錄隱藏過濾（爲用ForntPage作主頁的朋友帶來福音）；服務器自動識別功能；資源管理器瀏覽方式；可以自定義命令；支持RFC959標準具有更好的穩定性；完備的信息返回機制及錯誤監控機制完整的中文幫助。

2.第二款是由ReGet同一開發公司製作的專用於網站同步的軟件”WebSynchronizer”,用這款軟件,你纔會體驗到網站同步的方便快捷,簡單容易.最新版本是1.3.62, 網上能找到XX的最後版本是1.1版!下面是一段簡介:

檔案同步化工具 - WebSynchronizer，由知名續傳軟件 ReGet 之軟件出版公司所推出，是網站同步化、檔案鏡像、檔案備份的絕佳工具，可以執行下列主要工作：1) 本機資料夾及遠程資料夾的同步化；2) 兩臺遠程計算機中的資料夾同步化；3) 兩個本機資料之同步化。

3.其他還有一些軟件如同步快梭(AutoSyncFTP),也能實現簡單的網站同步,不過,這款軟件非常不穩定,而且2001年就已經停止開發.所以,不用考慮了!還有上次有朋友提到的SiteMirro,由於網上找不到可以用的版本,所以沒有辦法測試!

4.網絡傳神網站同步鏡像使用傻瓜指南
第一次運行網絡傳神的時候,它會讓你選擇”完全模式”和”啓動模式”,要使用網站同步必須選擇”完全模式”.

進入主界面:你會發現這個軟件非常像FlashGet,要使用網站同步功能,點擊軟件左下角的”FTP客戶端”.

現在你要做的就是添加你的鏡像母站和需要鏡像的網站:文件->站點管理,在裏面添加你需要同步的幾個的FTP服務器,下面我將介紹具體設置(主要是鏡像母站的設置)

母站設置最重要的地方就是”比較目錄(網站同步)”:

1.拖動傳送
就是手動拖動傳送時候的傳送方式,非拖動方式不受影響,因爲母站的更新基本上是從本地目錄進行的,所以建議這裏選擇第二項”只上傳不同的文件”,鏡像站點這裏可以忽略
2.磁盤比較設置
這個功能非常有用,可以通過文件長度和文件日期進行文件差異對比.

你還可以設置本地目錄過濾和服務器目錄過濾,非常靈活!
好了,添加好母站和鏡像站之後,我們來設置同步:

如果是添加鏡像站,則會跳出下面的母站選擇窗口:

設置好多個鏡像站點之後,返回主界面就可以進行網站同步了:

注意事項：
一般不要改動鏡像站點前面的“對鉤”標誌，因爲鏡像站點同步的原理是“根據主站點的同步信息更新鏡像站點”，如果景象站點沒有更新那麼必須將該鏡像站點單獨同步。
注意一般應該“選項窗口”-〉“FTP客戶端”-〉“計劃”中的“最大連接個數”和“最大線程個數”一般不要改動保持爲“1”。
如果同步時某個站點出錯同步沒有完全完成只需按“計劃”窗口中的 按鈕單獨執行某個站點的傳送即可。

再介紹一下網站鏡像同步中必要的功能,定時同步,這樣你就只要做好母站的更新,其他的讓網絡傳神幫你完成:
點擊設置:

進入網絡傳神的選項設置窗口,選中FTP客戶端中的定時同步

定時下載：在指定的時段內下載文件。
定時上傳：在指定的時段內用網站同步的方法進行上傳。
開始時間：如果要使用定時方式必須設置此項，在設置的時間中會自動開始所有設置爲計劃的站點。
停止時間：如果設置此項則當系統時間大於停止時間時自動停止所有設置爲計劃的站點。

注意：定時上傳種沒有“停止時間”選項，網站同步完成後會自動停止，同時網站同步同一時間只能運行一次。

網絡傳神還有很多爲便於同步鏡像設置的功能,大家實際使用中去體會吧!

5. Web Synchronizer 網站同步鏡像使用傻瓜指南
Web Synchronizer功能非常強大,不單單是網站同步,還可以進行本地目錄同步,本地到遠程同步,功能方面遠勝過傳神,不過,國內好像沒有漢化版,對於一些對英文感冒的朋友用起來會不太舒服,希望CCF裏的漢化高手能將他中文化!

開始運行程序,老外的軟件就是智能,一打開這個軟件就會有一個同步嚮導跳出來!

在這裏,你也看出來了吧,這個軟件只支持兩個目錄間的同步.不過,我們可以創建多個項目來解決這個問題!具體我在後面介紹!這裏,我們來看看如何建立兩個遠程目錄的同步!
選擇第二項,進入下一個選擇框:

網站同步當然是選擇第一項了!再進入下一步,要你選擇同步的第一個服務器,建議在這裏servers list,先編輯好需要同步的幾個FTP

同步方式設置說明:
第一項的意思是:上傳下載所有改變的文件
第二項的意思是:不改變文件夾內容,只下載新的文件

點擊下一步進行第二個服務器設置,方法和第一個一樣!
設置完成後,你還可以修改任務名稱!
我覺得這點就是這個軟件非常優秀的地方,以任務的方式進行管理.非常方便!

OK,現在我們就可以看到他的主界面了!

還有一點要提,他的計劃任務更能也很強大,在這裏我就不再多說了!用過才知道他的強大!

有朋友會說,我要進行兩個以上的網站同步怎麼辦?
很簡單,再多建幾個任務就可以了,要鏡像多少網站都沒有問題!
這個軟件的網站同步鏡像可以非常靈活,比如可以本地-遠程,然後再遠程-遠程!或者本地-遠程1,本地-遠程2,遠程1-遠程2,任何情形下的同步都可以完成!

3.數據庫同步操作指南

說完了文件同步,我們再來探討一下數據庫同步!
這裏我主要教大家兩種最常用的數據庫的同步方法!

MySQL

MySQL數據同步主要有三種方式:
1.利用MySQL自身的數據庫同步功能
2.利用MySQL數據庫的特性(數據庫存在固頂目錄,並且以文件形式存儲),進行數據庫目錄同步以達到數據同步目的
3.利用專用的MySQL數據庫同步軟件

1. 利用MySQL自身的數據庫同步功能(下面參考自網上的文章,寫的非常詳細了)
MySQL從3.23.15版本以後提供數據庫複製功能。利用該功能可以實現兩個數據庫同步，主從模式，互相備份模式的功能.

數據庫同步複製功能的設置都在mysql的設置文件中體現。mysql的配置文件（一般是my.cnf），在unix環境下在/etc/mysql/my.cnf 或者在mysql用戶的home目錄下的my.cnf。

windows環境中，如果c:根目錄下有my.cnf文件則取該配置文件。當運行mysql的winmysqladmin.exe工具時候，該工具會把c:根目錄下的my.cnf 命名爲mycnf.bak。並在winnt目錄下創建my.ini。mysql服務器啓動時候會讀該配置文件。所以可以把my.cnf中的內容拷貝到my.ini文件中，用my.ini文件作爲mysql服務器的配置文件。

　　設置方法：
　　設置範例環境：
　　操作系統：window2000 professional
　　mysql：4.0.4-beta-max-nt-log
　　A ip:10.10.10.22
　　B ip:10.10.10.53
　　A:設置
　　1.增加一個用戶最爲同步的用戶帳號：
　　GRANT FILE ON *.* TO backup@'10.10.10.53' IDENTIFIED BY ‘1234’
　　2.增加一個數據庫作爲同步數據庫：
　　create database backup
　　B:設置
　　1.增加一個用戶最爲同步的用戶帳號：
　　GRANT FILE ON *.* TO backup@'10.10.10.22' IDENTIFIED BY ‘1234’
　　2.增加一個數據庫作爲同步數據庫：
　　create database backup
　　主從模式：A->B
　　A爲master
　　修改A mysql的my.ini文件。在mysqld配置項中加入下面配置：
　　server-id=1
　　log-bin
　　#設置需要記錄log 可以設置log-bin=c:mysqlbakmysqllog 設置日誌文件的目錄，
　　#其中mysqllog是日誌文件的名稱，mysql將建立不同擴展名，文件名爲mysqllog的幾個日誌文件。
　　binlog-do-db=backup #指定需要日誌的數據庫
　　重起數據庫服務。
　　用show master status 命令看日誌情況。
　　B爲slave
　　修改B mysql的my.ini文件。在mysqld配置項中加入下面配置：
　　server-id=2
　　master-host=10.10.10.22
　　master-user=backup #同步用戶帳號
　　master-password=1234
　　master-port=3306
　　master-connect-retry=60 預設重試間隔60秒
　　replicate-do-db=backup 告訴slave只做backup數據庫的更新
　　重起數據庫
　　用show slave status看同步配置情況。
　　注意：由於設置了slave的配置信息，mysql在數據庫目錄下生成master.info
　　所以如有要修改相關slave的配置要先刪除該文件。否則修改的配置不能生效。
　　雙機互備模式。
　　如果在A加入slave設置，在B加入master設置，則可以做B->A的同步。
　　在A的配置文件中 mysqld 配置項加入以下設置：
　　master-host=10.10.10.53
　　master-user=backup
　　master-password=1234
　　replicate-do-db=backup
　　master-connect-retry=10
　　在B的配置文件中 mysqld 配置項加入以下設置：
　　log-bin=c:mysqllogmysqllog
　　binlog-do-db=backup
　　注意：當有錯誤產生時*.err日誌文件。同步的線程退出，當糾正錯誤後要讓同步機制進行工作，運行slave start
　　重起AB機器，則可以實現雙向的熱備。
　　測試：
　　向B批量插入大數據量表AA（1872000）條
　　A數據庫每秒鐘可以更新2500條數據。

2.數據庫目錄同步,方法和文件同步一樣,設置好需要同步的兩個數據庫目錄就可以了!
缺點很明顯,數據同步只能單向進行,可以作爲備份方案

3.用專用的MySQL同步軟件進行同步
這方面的軟件有SQLBalance 和MyReplicator ,優點是方便直觀,還有很多爭強功能!
缺點和2一樣,只能單項同步!
當然你也可以修改鏡像網站的程序爲提交數據到母數據庫,讀取則在當前鏡像下的數據,不過,修改起來麻煩!普通用戶修改也非常難!呵呵,大家瞭解一下就可以!給大家一個思路!有能力的朋友可以試試阿!

MSSQL

MSSQL數據同步利用數據庫複製技術實現數據同步更新(來自網絡,也是非常完美的教程)
複製的概念
複製是將一組數據從一個數據源拷貝到多個數據源的技術，是將一份數據發佈到多個存儲站點上的有效方式。使用複製技術，用戶可以將一份數據發佈到多臺服務器上，從而使不同的服務器用戶都可以在權限的許可的範圍內共享這份數據。複製技術可以確保分佈在不同地點的數據自動同步更新，從而保證數據的一致性。
SQL複製的基本元素包括
出版服務器、訂閱服務器、分發服務器、出版物、文章
SQL複製的工作原理
SQL SERVER 主要採用出版物、訂閱的方式來處理複製。源數據所在的服務器是出版服務器，負責發表數據。出版服務器把要發表的數據的所有改變情況的拷貝複製到分發服務器，分發服務器包含有一個分發數據庫，可接收數據的所有改變，並保存這些改變，再把這些改變分發給訂閱服務器
SQL SERVER複製技術類型
SQL SERVER提供了三種複製技術，分別是：
1、快照複製（呆會我們就使用這個）
2、事務複製
3、合併複製
只要把上面這些概念弄清楚了那麼對複製也就有了一定的理解。接下來我們就一步一步來實現複製的步驟。
第一先來配置出版服務器
(1)選中指定[服務器]節點
(2)從[工具]下拉菜單的[複製]子菜單中選擇[發佈、訂閱服務器和分發]命令
(3)系統彈出一個對話框點[下一步]然後看着提示一直操作到完成。
(4)當完成了出版服務器的設置以後系統會爲該服務器的樹形結構中添加一個複製監視器。同時也生成一個分發數據庫(distribution)
第二創建出版物
(1)選中指定的服務器
(2)從[工具]菜單的[複製]子菜單中選擇[創建和管理髮布]命令。此時系統會彈出一個對話框
(3)選擇要創建出版物的數據庫，然後單擊[創建發佈]
(4)在[創建發佈嚮導]的提示對話框中單擊[下一步]系統就會彈出一個對話框。對話框上的內容是複製的三個類型。我們現在選第一個也就是默認的快照發布(其他兩個大家可以去看看幫助)
(5)單擊[下一步]系統要求指定可以訂閱該發佈的數據庫服務器類型，SQLSERVER允許在不同的數據庫如 orACLE或ACCESS之間進行數據複製。但是在這裏我們選擇運行"SQL SERVER 2000"的數據庫服務器
(6)單擊[下一步]系統就彈出一個定義文章的對話框也就是選擇要出版的表
(7)然後[下一步]直到操作完成。當完成出版物的創建後創建出版物的數據庫也就變成了一個共享數據庫。
第三設計訂閱
(1)選中指定的訂閱服務器
(2)從[工具]下拉菜單中選擇[複製]子菜單的[請求訂閱]
(3)按照單擊[下一步]操作直到系統會提示檢查SQL SERVER代理服務的運行狀態，執行復制操作的前提條件是SQL SERVER代理服務必須已經啓動。
(4)單擊[完成]。完成訂閱操作。
完成上面的步驟其實複製也就是成功了。但是如何來知道複製是否成功了呢？這裏可以通過這種方法來快速看是否成功。展開出版服務器下面的複製——發佈內容——右鍵發佈內容——屬性——擊活——狀態然後點立即運行代理程序接着點代理程序屬性擊活調度把調度設置爲每一天發生，每一分鐘，在0：00：00和23：59：59之間。接下來就是判斷複製是否成功了打開C:Program FilesMicrosoft SQL ServerMSSQLREPLDATAuncXIAOWANGZI_database_database下面看是不是有一些以時間做爲文件名的文件夾差不多一分中就產生一個。要是你還不信的話就打開你的數據庫看在訂閱的服務器的指定訂閱數據庫下看是不是看到了你剛纔所發佈的表—
一個手工同步的方案
--定時同步服務器上的數據
--例子:
--測試環境,SQL Server2000,遠程服務器名:xz,用戶名爲:sa,無密碼,測試數據庫:test
--服務器上的表(查詢分析器連接到服務器上創建)
create table [user](id int primary key,number varchar(4),name varchar(10))
go
--以下在局域網(本機操作)
--本機的表,state說明:null 表示新增記錄,1 表示修改過的記錄,0 表示無變化的記錄
if exists (select * from dbo.sysobjects where id = object_id(N'[user]') and OBJECTPROPERTY(id, N'IsUserTable') = 1)
drop table [user]
GO
create table [user](id int identity(1,1),number varchar(4),name varchar(10),state bit)
go
--創建觸發器,維護state字段的值
create trigger t_state on [user]
after update
as
update [user] set state=1
from [user] a join inserted b on a.id=b.id
where a.state is not null
go
--爲了方便同步處理,創建鏈接服務器到要同步的服務器
--這裏的遠程服務器名爲:xz,用戶名爲:sa,無密碼
if exists(select 1 from master..sysservers where srvname='srv_lnk')
exec sp_dropserver 'srv_lnk','droplogins'
go
exec sp_addlinkedserver 'srv_lnk','','SQLOLEDB','xz'
exec sp_addlinkedsrvlogin 'srv_lnk','false',null,'sa'
go
--創建同步處理的存儲過程
if exists (select * from dbo.sysobjects where id = object_id(N'[dbo].[p_synchro]') and OBJECTPROPERTY(id, N'IsProcedure') = 1)
drop procedure [dbo].[p_synchro]
GO
create proc p_synchro
as
--set XACT_ABORT on
--啓動遠程服務器的MSDTC服務
--exec master..xp_cmdshell 'isql /S"xz" /U"sa" /P"" /q"exec master..xp_cmdshell ''net start msdtc'',no_output"',no_output
--啓動本機的MSDTC服務
--exec master..xp_cmdshell 'net start msdtc',no_output
--進行分佈事務處理,如果表用標識列做主鍵,用下面的方法
--BEGIN DISTRIBUTED TRANSACTION
--同步刪除的數據
delete from srv_lnk.test.dbo.[user]
where id not in(select id from [user])
--同步新增的數據
insert into srv_lnk.test.dbo.[user]
select id,number,name from [user] where state is null
--同步修改的數據
update srv_lnk.test.dbo.[user] set
number=b.number,name=b.name
from srv_lnk.test.dbo.[user] a
join [user] b on a.id=b.id
where b.state=1
--同步後更新本機的標誌
update [user] set state=0 where isnull(state,1)=1
--COMMIT TRAN
go
--創建作業,定時執行數據同步的存儲過程
if exists(Select 1 from msdb..sysjobs where name='數據處理')
EXECUTE msdb.dbo.sp_delete_job @job_name='數據處理'
exec msdb..sp_add_job @job_name='數據處理'
--創建作業步驟
declare @sql varchar(800),@dbname varchar(250)
select @sql='exec p_synchro' --數據處理的命令
,@dbname=db_name() --執行數據處理的數據庫名
exec msdb..sp_add_jobstep @job_name='數據處理',
@step_name = '數據同步',
@subsystem = 'TSQL',
@database_name=@dbname,
@command = @sql,
@retry_attempts = 5, --重試次數
@retry_interval = 5 --重試間隔
--創建調度
EXEC msdb..sp_add_jobschedule @job_name = '數據處理',
@name = '時間安排',
@freq_type = 4, --每天
@freq_interval = 1, --每天執行一次
@active_start_time = 00000 --0點執行
go