混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

前言
阿里雲對象存儲(OSS)用戶衆多。很多用戶因爲業務或者合規性需求,需要對OSS內的數據做備份,無論是線上備份,還是線下備份。用戶可以選擇使用OSS的開放API,按照業務需求,做數據的備份,也可以選擇OSS已有的服務進行數據備份,比如OSS的跨域複製。但是,前一種方式,存在易用性和備份效率問題;後一種方式,只是將數據存雙份或者多份,無法有效規避原始數據出問題後,被複制的那份數據也出問題的風險。本文介紹的基於雲存儲網關和混合雲備份的OSS數據備份方案,不僅能保證OSS數據按策略的多版本備份,而且配置簡單,性能好,效率高,成本低。

基於雲存儲網關和混合雲備份的OSS備份
以下是基於混合雲產品的OSS備份方案架構圖。首先,通過一臺雲存儲網關將OSS bucket中的文件反向同步至網關緩存中;在一臺ECS上掛載雲存儲網關的目錄,並安裝混合雲備份agent;最後,配置混合雲備份策略和任務即可方便地將存儲網關中的文件多版本的備份在雲災備庫中。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

基於混合雲產品的OSS備份架構圖

  • 實施與配置

首先,用戶需要登陸阿里雲控制檯,開通雲存儲網關服務 。此處需要注意一點:出於備份性能和效率的考慮,雲存儲網關和之後的混合雲備份的區域應該跟備份源端OSS所在的區域一致。

這裏我們創建一個性能型的雲存儲網關,保證OSS數據同步到雲存儲網關,以及後續雲存儲網關上的數據備份到災備庫的帶寬和性能有保障。當然,用戶完全可以根據OSS內的數據總大小和增速,文件數目,單個文件的大小來決定選用哪種類型的雲存儲網關。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案
創建雲存儲網關

創建完成之後,進入網關的管理配置頁面,進行簡單的三步配置:緩存設置,雲資源設置和掛載目錄設置。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

雲存儲網關管理頁面

緩存設置是將網關的緩存配置生效的過程。點擊創建,選擇可用的緩存盤即可完成創建。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

緩存設置

雲資源設置是將OSS bucket與雲存儲網關連接的過程。用戶只需要選擇同步的bucket名稱即可。雲存儲網關支持SSL加密連接OSS,保證數據傳輸的安全。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

雲資源設置

目錄設置是對客戶端提供掛載目錄的過程。雲存儲網關支持NFS和CIFS兩種通用的NAS協議。這裏我們配置NFS掛載目錄。需要注意的一個配置項是‘反向同步’。因爲我們需要將OSS bucket內的文件同步至雲存儲網關上,因此,反向同步需要選擇‘是’。另外,‘模式’保持默認的‘緩存模式’。這樣雲存儲網關只保留熱數據及冷數據的元數據。而同步模式則是緩存盤大小和雲上OSS的文件總大小保持一致。注意到高級設置中有‘方向同步時間間隔’一項,它的作用是讓網關每隔多久去OSS拉去最新的文件,並同步到網關上。放在整個方案中考慮,該選項無需設置的很短,因爲之後的混合雲備份是按照小時或者天級別來定義週期性備份的,所以比較合理的設置是讓雲存儲網關以小時級去反向同步OSS的數據。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

NFS目錄配置

至此,雲存儲網關上的配置就全部結束了。接下來,需要申請一臺ECS來掛載雲存儲網關提供的NFS目錄。這裏申請一臺內網帶寬高的ECS與高性能網關的帶寬匹配。之後,就可以去開通混合雲備份了。開通之後,選擇好區域之後,也只需要簡單的三步即可:創建備份庫,下載安裝備份agent和備份策略和任務的配置。

創建備份庫,十分簡單:給備份倉庫取名字,確定備份類型和下載客戶端和證書。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

創建備份倉庫

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

選擇備份類型

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

添加客戶端

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

下載客戶端和證書

將下載完成的客戶端軟件上傳至之前申請的Linux ECS上,解壓並安裝。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案
混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

上傳並安裝備份客戶端

安裝完成之後,在瀏覽器上打開這個URL:http://<雲主機公網IP>:8011。之後,會彈出備份客戶端的註冊頁面。需要用戶輸入之前下載的證書(註冊和連接備份源和備份倉庫的鑰匙),AK認證信息和客戶端登陸密碼。因爲備份的整個鏈路都在阿里雲網內,所以網絡類型需要選擇‘專有網絡(VPC)’。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

備份客戶端註冊頁面

註冊成功之後,用戶就能看到客戶端備份頁面。該頁面是用戶創建備份和恢復數據的入口。在備份之前,記得要將雲存儲網關的NFS目錄掛載在這臺ECS上。再回到備份客戶端頁面,可以先創建一個計劃備份(立即備份是隻備份一次,計劃備份是按策略週期性的備份)。創建計劃備份需要先創建一個備份策略。這裏定義一個每天下午5點半開始的備份策略。備份數據會在備份庫中保存2年的時間。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

創建備份策略

接下來就是創建備份了。將ECS的掛載目錄輸入到源地址中,選擇‘計劃備份’和之前創建的備份策略,提交即可。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

創建計劃備份

提交之後,就看到了備份任務。看詳情的話,就知道上次備份的狀況和下次備份的時間。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

計劃備份詳情

當時間到了之後,備份就會被自動觸發。可以看到備份任務正在掃描文件總數和數據總量,並實時地顯示備份速度。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

執行中的計劃備份任務

下圖是備份過程中的一些統計。需要指出的是狀態中的進度百分比會出現抖動,有時候會低於之前的進度。這是因爲在統計備份進度的時候,是根據已備份的數據佔總計備份文件的比例。因爲雲存儲網關在不停地反向同步OSS的文件,這樣就會在掃描文件的時候,出現備份文件的性能跟掃描文件性能交替的情況,導致用戶看到的進度不是一直遞增的。有些時候會出現進度變成了100%,但實際上,雲存儲網關馬上又會同步很多新文件給備份服務去備份,進度又會變成90%多。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

掃描完成後的計劃備份任務

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

OSS上的文件數和存儲空間統計

在備份進行中,還可以去雲存儲網關的監控頁面查看緩存和網絡吞吐性能。從下圖可以看出來,網關從下午5點鐘的時候就一致在持續從OSS中讀取文件到被備份的ECS所讀取。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

雲存儲網關性能圖

等待備份完成,可以看到這次備份的文件總數,和上面OSS控制檯看到的文件數目是一致的。另外,就是用戶最爲關心備份性能,44.88MB/s。通過文件總大小和總數計算出,文件的平均大小爲6.8MB左右,屬於中等偏下的文件規格。考慮到很多目錄結構很深,這樣的備份性能是十分不錯的。另外,因爲雲存儲網關反向同步寫磁盤和備份服務讀磁盤,對於200G的緩存盤而言,也接近瓶頸了。如果用戶的備份數據量比較多,單個文件更大,並且還想提高備份性能,可以增加緩存盤的容量。這種場景下,幾百MB/s的備份性能也是可以達到的。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

備份完成

還可以去控制檯的混合雲備份頁面查看控制檯上的備份倉庫信息。可以看到進行了1次備份,也成功了。關鍵的信息是右側的原始數據和實際佔比。可以看到經過混合雲備份後的數據,實際佔用是1.31TB,小於原始數據的大小,因爲混合雲備份在將備份數據寫到備份庫的時候,對數據做了重刪壓縮。

混合雲存儲組合拳:基於雲存儲網關與混合雲備份的OSS數據備份方案

備份庫信息

總結
雲存儲網關和混合雲備份服務搭配的OSS備份方案是一款雲原生的OSS備份方案,可以在阿里雲控制檯一站搞定。整個方案不僅可以滿足OSS用戶對於備份性能和多版本的要求,而且非常有性價比。雲存儲網關目前處於開放公測階段,是免費的。混合雲備份服務是按照備份客戶端數目和去重壓縮後的備份庫容量收費,既可以按需購買,也可以購買資源包,靈活且用戶友好。

另外,所有用戶都會關心備份的數據一致性和數據安全。在整條備份鏈路中,雲存儲網關反向同步OSS數據到緩存盤的時候,會有數據一致性校驗;在備份服務讀取緩存盤數據,再寫到備份庫的時候,也有一致性校驗。並且,整條備份鏈路是數據加密的。當數據寫到備份庫的時候,備份庫的三副本技術也確保了用戶數據萬無一失。

最後,當用戶需要恢復數據的時候,混合雲備份服務可以細粒度到按文件恢復到指定目錄,結合雲存儲網關的跨VPC訪問的特性,可以做到數據恢復和分發的靈活性。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章