AI應用開發實戰系列之二:從零開始搭建macOS開發環境

AI應用開發實戰 - 從零開始搭建macOS開發環境

本視頻配套的視頻教程請訪問:https://www.bilibili.com/video/av24368929/

零、前提條件

  • 一臺能聯網的電腦,使用macOS操作系統
  • 請確保鼠標、鍵盤、顯示器都是好的

建議和反饋,請發送到
https://github.com/Microsoft/vs-tools-for-ai/issues

聯繫我們
[email protected]

一、工具介紹

Viusal Studio code

Visual Studio Code 是微軟繼Visual Studio 宇宙第一IDE後出品的又一利器,是一款完全免費的文本編輯器。

Visual Studio Code 支持Windows、Linux和Mac三大操作系統,有着一流的響應速度,不論是本身的啓動,還是加載目錄、打開瀏覽大文件的速度,都十分迅速;這款文本編輯器的可擴展能力也十分強大,在其活躍生態的支持下,提供了大量的插件供開發者自行配置,比如對各種小衆語言的支持、數據訪問、鍵盤佈局等等;另外,它在配置上非常靈活,但大多是基於json的文本配置,使用起來不向圖形界面那樣簡單易懂,但是熟悉後還是很方便的。

Tools for AI

Visual Studio Code 上的Tools for AI 是微軟官方出品的一站式機器學習集成開發環境,其與VS code相結合,能讓開發人員在同一個開發環境裏,完成從編輯、訓練、集成模型,到服務與應用的代碼開發。

Tools for AI 對訓練任務的調度和管理做了很好的集成。現在、後端的計算平臺支持本機、Linux服務器、微軟的企業級計算資源管理平臺、Azure的機器學習平臺、Batch AI等。
另外還能夠管理各種遠程的存儲,直接在界面中上傳數據、下載模型日誌等文件。

二、搭建開發環境

Visual Studio Code 安裝

訪問 https://code.visualstudio.com

點擊Download自動下載對應操作系統的Visual Studio Code

插件安裝

首先打開VS Code,點擊擴展圖標

首先安裝好Python插件

有插件自動更新或安裝後,就會提示重新加載,點擊重新加載後,VS Code就會重新啓動,並且加載相應的插件。

然後搜索Tools for AI,選擇第一個安裝。

這裏同樣也要點擊重新加載。

同樣,我們可以把中文包也安裝上,這樣就能顯示中文了。

安裝Git

訪問 https://git-scm.com/downloads

下載Mac適用的版本

下載機器學習示例庫

打開終端,找到一個自己想用來存放這些文件的文件夾,在終端中輸入

git clone https://github.com/Microsoft/samples-for-ai/

這時Git開始自動克隆示例庫

安裝python

這一步大家安裝python3.5或3.6皆可,但更推薦大家安裝python3.6,同時請一定選擇64位的版本,否則很多機器學習框架都無法使用。

訪問 https://www.python.org/downloads/ 選擇適用於macOS的64位安裝包

note:在python安裝完成後,請在Application中找到python的安裝文件,運行Certificates install.commands,安裝常見的根證書,否則python腳本訪問任何https網站時都會出現證書錯誤,這也會影響我們接下來的安裝過程

安裝機器學習和機器學習的軟件及依賴

還是上一步的文件夾,進入installer目錄,輸入

python ./install.py

等待它安裝完成。

至此,環境搭建已經全部結束。

三、運行示例代碼

從這一步開始,我們要開始真正進行訓練了,如果你是第一次接觸機器學習,那麼你就可以訓練出自己的第一個模型了!

首先打開Visual Studio Code,選擇文件->打開打開samples的總目錄。

我們使用tensorflow和MNIST來作爲例子。

MNIST是一個流行的示例數據集,是人手寫的數字的圖片集。我們可以用它來訓練一個模型,讓計算機識別出人手寫的數字是什麼。

note:如果你的電腦安裝了多個版本的python,請點擊VS Code窗口下方的Python環境,程序將列出本機找到的所有python環境,我們要將其切換到正確的環境上

本地調試及訓練

首先,點擊AI Explorer來新建或者修改本地環境配置。在Local - Environment下右鍵,點擊Add Configuration

設置好name,並將上一步選擇的python環境的路徑填寫進去

點擊右下角的Finish來刷新環境配置

note:一定要點擊Finish才能正確地刷新配置

在配置好本地環境後,還需要添加一個運行作業的配置,這裏選擇查看->命令面板,輸入AI: Edit Job Properties,然後回車。

note:如果你的電腦安裝了多個版本的python,請修改startupCommand中的Python改爲Python3,然後點擊Finish,這樣可以確保在執行作業的時候使用python3運行程序

右鍵convolutional.py,選擇AI: Submit Job

選擇Local

選擇剛纔配置好的運行環境

可以看到屏幕下方有一個新的終端窗口,這時程序就已經開始對模型進行訓練了

遠程訓練

由於Mac沒有配置Nvidia的顯卡,因此只能使用CPU訓練模型,如果本機的性能不行,有的時候可能需要花費很長時間,這個時候,如果遠程的服務器,特別是有專門的計算資源加持的話,速度會快很多。另外,很多機器學習的框架支持並行計算,遠程訓練時還可以接入並行的資源,進一步提高訓練效率。

Tools for AI支持多種遠程訓練的平臺,包括Remote Machine、私有部署的PAI,以及Azure的Batch AI等,本系列博客以後會詳細介紹如何使用這些資源。本篇博客主教講解如何在遠程Linux上進行訓練。

首先在AI Explorer中,在Remote Linux上點擊鼠標右鍵,點擊Add Configuration,然後填入自己服務器的信息,最後點擊Finish完成設置

然後,同樣像上次一樣選擇AI: Submit Job,只是這次要選擇剛纔配置好的Remote Linux

在提交完作業後,如果想要查看運行情況,則需要在Remote Linux中選擇之前配置好的機器,點擊鼠標右鍵,選擇List Jobs,這時可以看到這臺機器上提交過的任務列表

點擊我們剛剛提交的那個,就可以列出這個任務的所有細節

同時可以通過點擊頁面上的Open Storage Explorer來查看該任務在遠程機器下的目錄。

如果需要查看遠程機器的其他目錄,則在機器上右鍵,選擇Open Storage Explorer,選擇Custom Directory,然後輸入你要訪問的目錄即可

至此,遠程模型訓練的部分就完場了。請接着看我們的其他AI 實戰開發系列 (https://blog.csdn.net/softwareteacher/article/category/7750355)。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章