Azure Storage系列之數據遷移

    再來談一談Azure storage的數據遷移問題,當我們需要把數據遷移到storage的時候,我們其實有很多種方式可以選擇,每種方式適用的場景是不一樣的,總結起來的話可以分爲以下這些


        網絡傳輸


    • 圖形化界面

    • AzCopy

    • PowerShell

    • CLI

    • SDK 

    • Azure Data Factory


        物理傳輸


    • Azure Import/Export

    • Azure Databox


    我們可以選擇的方式不少,但是具體哪種合適,還是要case by case來看

    首先,網絡傳輸一個最大的弊端就是速度較慢,穩定性差,如果我們有大規模的數據需要傳輸到雲上的話(比如10T+),建議最好不要使用網絡傳輸,速度不可控,對帶寬依賴性非常強,並且還有傳輸中斷的風險,對於這種大規模數據,更推薦使用Azure import/Export這種物理方式進行傳輸,直接把數據拷貝到硬盤裏,加密之後直接寄送到數據中心,速度絕對是要快得多的


    其次,如果數據量比較少的話,那麼網絡傳輸比物理傳輸優勢會更明顯,在這麼多種網絡傳輸的方案裏,更推薦使用azcopy,azcopy出來的時間已經很久了,目前經過一個大版本的更新後,現在最新版是azcopy v10,v10的使用比以前要更簡單,還能支持使用Azure AD進行身份驗證



    Global有一張圖其實可以很好地指引我們如何選擇數據傳輸的方式

    azure-data-transfer-options-3.png



    當然,除此之外其實還有一些第三方產品也可以使用,比如cloudberry,不過這種產品很多都是付費的,有興趣的可以試下


    接下來,我們會重點介紹下AzCopy的使用,AzCopy v10和以前相比一個很大的不同是它不需要安裝,它只是一個可執行文件,所以只需要拷貝到服務器上就可以運行

    AzCopy v10的下載地址如下:

    https://aka.ms/downloadazcopy-v10-windows


    使用這個地址每次下載到的都會是最新版本的azcopy

    如果說我們想下載固定版本的azcopy的話,可以首先獲取azcopy的固定url,每次下載時使用此url進行下載即可

    在Windows 10上可以直接用curl獲取相關的信息

    (curl https://aka.ms/downloadazcopy-v10-windows -MaximumRedirection 0 -ErrorAction silentlycontinue).RawContent

    微信截圖_20200211222359.png


    下載完成後,即可看到azcopy的真容

    微信截圖_20200211222633.png


    在進行數據的拷貝之前,我們先了解下azcopy進行身份驗證的方式。總體來說,azcopy支持兩種身份驗證方式,Azure AD和SAS,這和以前版本的azcopy是完全不一樣的,以前的azcopy是直接用storage的key來做身份驗證的,但是azcopy v10裏更推薦的是使用SAS和Azure AD

    

存儲類型支持的授權方法
Blob存儲Azure AD & SAS
Blob存儲(分層命名空間)Azure AD & SAS
文件存儲SAS


    我們可以用AzCopy完成很多數據拷貝的任務,涵蓋多種場景,功能非常強大,接下來我們就準備拿實際的案例來說明下到底什麼時候最應該用azcopy以及azcopy到底怎麼用

    1.本地文件/文件夾->storage

    2.storage->本地文件/文件夾

    3.storage->storage

    4.S3->storage


    


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章