【華爲雲技術分享】如何使用pyCharm與ModelArts公有云服務聯動開發,快速且充分地利用雲端GPU計算資源

其實ModelArts的幫助手冊上已經有一篇文檔:https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0021.html,但是我覺得可能開發者還是會存在一些小疑問,所以我自己在本地做了嘗試,截圖說明過程。

我們實際上使用一個PyCharm ToolKit工具來幫助建立從本地pyCharm IDE到ModelArts的連接通道,本案例我使用MXNet實現手寫數字圖像識別應用的示例,在本地快速完成代碼編寫,發佈到ModelArts公有云完成模型的訓練和模型生成,生成的模型可以進一步快速進行部署(本文沒有覆蓋該步驟)。

安裝toolkit前需要先安裝2019.2版本(目前toolkit僅適配該版本)的pycharm,下載地址是:

https://download.jetbrains.com/python/pycharm-professional-2019.2.exe?_ga=2.11170941.815358500.1587189937-686177363.1586569505,也可以去華爲雲官網下載(好處是那裏會持續更新版本,較爲及時):https://developer.huaweicloud.com/tools。

需要注意,如果已經安裝了高版本的pyCharm,需要首先卸載(自動)已安裝的pyCharm:

下載一個工具Pycharm-ToolKit-PC-2019.2-HEC-1.3.0.zip,連接本地IDE與雲之間的鏈路:

https://www.jetbrains.com/pycharm/download/other.html

解壓後看到一堆jar文件,

接着回到pyCharm IDE,打開Settings:

找到Plugins,選擇一個插件:

點擊RestartIDE:

重啓後看到如下界面:

然後我們需要去ModelArts網站申明祕鑰:

申請祕鑰:

短信驗證碼註冊成功後,請務必把csv文件保存到本機。

回到pyCharm IDE:

 

注意,如果填寫祕鑰鍵值對成功後,Edit Credential應該是要打鉤的,如果沒有,請查看網絡連接是否存在問題,例如不允許連接外網,或是對訪問外網有限制。

注意,需要你重新點擊edit credential按鈕,退出後就能看到打鉤了。

 

這樣我們就完成了pyCharm IDE與ModelArts的對接工作,進入下一步,實際訓練一個模型。

首先,下載手寫字的數據集:https://modelarts-cnnorth1-market-dataset.obs.cn-north-1.myhuaweicloud.com/dataset-market/Mnist-Data-Set/archiver/Mnist-Data-Set.zip

登錄華爲雲上傳OBS:

創建兩個文件夾,一個用於存放數據集,一個用於存放訓練生成的日誌(需要傳回到pyCharm IDE並顯示):

接着在pyCharm打開工程,點擊“Run Training Job”:

填寫參數,可以參考ModelArts訓練模型時填寫的參數:

訓練完成後,訓練模型保存在OBS中 /工程名/output/V0006/

點擊這裏,瞭解更多精彩內容

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章