DSW:面向AI研發的集成開發平臺

發佈會傳送門

產品詳情

雲原生技術,注重用戶體驗,提升研發效率

環境搭建是算法研發過程中的重要一環,這裏除了硬件選型外,軟件環境的安裝配置,後續升級往往會耗費不少時間。DSW藉助阿里雲ECS,Docker和Kubernetes等雲原生技術,能夠在2,3分鐘內幫用戶完成環境搭建。用戶可以根據算法需要和成本考慮, 選擇阿里雲ECS提供的包括CPU和異構計算GPU在內的所有資源規格。不僅支持預付費,還支持後付費。 DSW還配置了10多種適用於不同AI場景的典型軟件環境配置, 包括Tensorflow和PyTorch等主流訓練框架的不同版本組合,供用戶選擇。作爲高度開放的開發環境,DSW開放sudo權限給用戶、支持任意第三方庫安裝。

爲了滿足不同水平層次和開發習慣的算法用戶,結合可視化,交互式編程和命令行輸入,DSW提供了3種編程入口:WebIde適用於工程化要求比較高的項目;JupyterLab適用於快速POC試驗;Terminal入口可用於快速執行Shell命令,運行程序和簡單的編輯等。

9989c5b90f96dedb20d3e717592eeed2c54bdb86.jpeg

9989c5b90f96dedb20d3e717592eeed2c54bdb86.jpeg

9989c5b90f96dedb20d3e717592eeed2c54bdb86.jpeg

DSW還開發和預裝了各種JupyterLab和WebIDE插件, 比如廣受深度學習開發者喜愛的可視化工具Tensorboard,用戶在DSW內通過Launcher,Commands打開,甚至還可以使用%tensorboard魔法命令直接在Notebook中開啓等多種方式使用Tensorboard。不僅支持本地文件,還可以打開存放在OSS,ODPS裏的訓練日誌。針對算法同學使用Python比較多的特點, DSW的WebIDE內安裝了Python插件, 可以直接在瀏覽器內在線調試,單步跟蹤程序運行。用戶還可以根據需要,自主安裝需要的任意插件。

DSW支持多種數據源讀寫,包括NAS, OSS,雲盤和MaxCompute,尤其是內置了dswmagic魔法命令可以讓用戶在ipynb文件中使用SQL語句讀寫MaxCompute表中數據,預置的SQL編輯器支持語法高亮、智能提示、自動補全等功能,還支持運行帶變量替換功能的Sql腳本。查詢結果自動以最友好的圖形化展示。

爲了節省資源成本,用戶可以利用停機不收費功能,在實例閒置不用時關機保存環境, 需要時再一鍵快速恢復。此外, DSW支持用戶自定義鏡像安裝,可以基於之前保存或定製的環境創建實例。

DSW在公有云上支持了多次百隊以上規模的天池大賽,在阿里集團內同樣也承接着比賽,經過千錘百煉,證明不僅適合個人和團隊研發,也支持大規模算法競賽和教育培訓。

安全性和穩定性是用戶比較關心的問題,DSW使用的計算,存儲和網絡資源,完全是使用用戶自己的賬號購買,並部署到用戶自己的vpc內部, 可以方便與用戶其他數據打通。用戶間完全隔離,還具備非常好的安全性。基於阿里雲ECS和容器服務, 穩定性有保障。

集成PAI的各能力組件,加速業務落地

身爲PAI這個大家庭的一員, DSW除了完成單機開發訓練功能之外, 還內置部分PAI的基礎能力。比如用戶可以直接在實例內利用PAI視覺類算法包EasyVision進行圖像分類訓練評估、預測; 通過自動調參AutoML進行算法超參數自動調優;用戶甚至能夠無感知的享受PAI編譯優化算法組件TAO提供的訓練過程中的算子優化。最後, DSW還提供了供算法直接讀取MaxCompute表數據的CommonIO組件,支持TableRecordDataSet, TableReader,TableWriter等標準接口,方便訓練程序直接提交到PAI的分佈式訓練集羣。

可以預見,在不久的將來, 會有更多的PAI算法包內置進DSW基礎鏡像內。 DSW也會依賴PAI SDK,圍繞數據讀取,加工,模型訓練, 模型管理以及在線服務等AI研發生產流程的關鍵環節,爲用戶提供像Pipeline搭建,調度和管理之類的一條龍服務。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章