Anaconda虛擬環境管理、深度學習開發框架搭建、win+ubuntu雙系統安裝

本文介紹瞭如何分別在win10與ubuntu18系統下部署深度學習開發環境,如何創建、管理多版本深度學習環境,附帶了雙系統安裝教程。


Python擁有強大的生態,但這個生態對於linux和mac類UNIX系統支持較好,而對於Windows支持有一定的不足(不足之處主要表現爲有的python安裝包在Windows平臺上沒有),Windows下最好使用集成環境Anaconda搭建開發環境(硬件配置稍好一點的Linux和Mac也非常建議使用Anaconda)。

1、創建與刪除

1.1 從互聯網創建新的指定python版本的虛擬環境

安裝完Anaconda python 3.7,需要使用python3.6的方法,以創建名爲“py36”的虛擬環境:
Anaconda prompt或cmd使用命令:conda create -n py36 python=3.6 anaconda(最後添加anaconda是爲了創建時安裝各種包)

1.2、克隆虛擬環境

1.2.1、本機克隆虛擬環境

conda本身的命令裏是有移植這個選項的。
假如前提是,在本地的conda裏已經有一個AAA的環境,我想創建一個新環境跟它一模一樣的叫BBB,那麼這樣一句就搞定了:

conda create -n BBB --clone AAA

1.2.2、跨計算機克隆虛擬環境

我已經在A服務器上配置好了一套我的conda環境,但是我現在又多出來了幾臺服務器,我想配置一模一樣的,又不想一個一個包地重裝一遍,能不能conda的環境直接移植到新的計算機上呢?其實是一樣的。查詢conda create命令的原來說明,是這樣的:
–clone ENV
Path to (or name of) existing local environment.
–clone這個參數後面的不僅可以是環境的名字,也可以是環境的路徑。
所以,很自然地,我們可以把原來電腦上目標conda環境的目錄複製到新電腦上,然後再用:

conda create -n BBB --clone ~/path

就直接一步安裝了所有的包,完成了環境的移植。
原來的電腦上的環境的地址可以用:

conda-env list
conda.bat env list
conda info -e

1.3 刪除虛擬環境

1.3.1 刪除環境:

使用命令conda remove -n your_env_name(虛擬環境名稱) --all, 即可刪除。

1.3.2 刪除虛擬環境中的包:

使用命令conda remove --name $your_env_name $package_name(包名) 即可。

2、激活和退出:

2.1 激活新的虛擬環境

需要使用python3.6版本的虛擬環境py36時,只需在anaconda prompt或cmd(或linux的terminal)中:

conda activate py36

2.2 退出當前虛擬環境

退出python3.6虛擬環境,可以使用命令 conda deactivateconda activate xxx切換到其他環境。

3 常用環境管理命令

3.1 查看當前存在哪些虛擬環境

conda-env list
conda.bat env list
conda info -e

3.2 查看安裝了哪些包

conda list

3.3 安裝新的軟件包

conda install package_name(包名)

3.4檢查更新當前conda

conda update conda

4. Anaconda更換國內源、刪源

4.1 換國內源

國內主要有清華源和中科大源

4.1.1 添加清華源

命令行中直接使用以下命令(ubuntu命令行也可以)

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge 
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/

 # 以下代碼用於設置搜索時顯示通道地址
conda config --set show_channel_urls yes

4.1.2 添加中科大源

conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/

conda config --set show_channel_urls yes

在Linux下,還可以直接將以上配置文件寫在~/.condarc中

vim ~/.condarc
channels:
  - https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
  - https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: true

4.2 刪源

換回conda的默認源。查看了conda config的文檔後,發現直接刪除channels即可。

conda config --remove-key channels

5 將anaconda prompt或anaconda powershell prompt放在右鍵菜單中顯示(全網獨家)

5.1 anaconda prompt

參考本篇博客

5.1 anaconda powershell prompt

anaconda prompt可以參考上述文章,但對於powershell版本的anaconda powersell prompt則需要將上述默認值

cmd.exe /s /k "title Anaconda3" && C:\Users\penga\Anaconda3\Scripts\activate.bat C:\Users\penga\Anaconda3

改成如下的形式

powershell.exe -ExecutionPolicy ByPass -NoExit -Command "& 'C:\Users\penga\Anaconda3\shell\condabin\conda-hook.ps1' ; conda activate 'C:\Users\penga\Anaconda3' "

代碼中的"& 'C:\Users\penga\Anaconda3\shell\condabin\conda-hook.ps1' ; conda activate 'C:\Users\penga\Anaconda3' "可以按照下列方式查找到
(1)打開 anaconda powershell prompt快捷方式
在這裏插入圖片描述
在這裏插入圖片描述
(2) 查看快捷方式屬性,並將目標(T):選項卡中的代碼片複製到記事本中備用,如下圖:
在這裏插入圖片描述

Appendix(附錄):

A.1、雙系統安裝:從win10開始安裝ubuntu18.04雙系統

注意:以下安裝方案適用於MBR電腦,GPT系列請繞道自己百度。

1、預備工作:清理出一塊不被佔用的硬盤(最好是固態,存儲空間越大越好,最好從win10相同的盤清理出一塊作爲ubuntu的\boot掛載,不然可能會出現安裝失敗的問題,尤其是筆記本)

2、系統安裝過程不贅述,主要參考
問題: 安裝完後,臺式機很有可能出現卡頓在入口的情況,彆着急,很正常,ctrl+alt+F1進入純命令窗口輸入一些安裝驅動的命令就會輕鬆解決(具體請百度)

3、安裝完ubuntu後重啓電腦一般都不會出現雙系統切換選項,一個簡單的方法是打開win10後安裝開源軟件easyBCD(點擊直接下載),然後即可非常方便的設置雙系統的開機啓動項順序。

A.2、ubuntu系統配置深度學習開發框架步驟

A.2.1、安裝nvidia顯卡驅動、安裝cuda、cudnn

下載安裝需要版本的cuda cudnn
cuda歷史版本下載地址
cudnn下載地址

A.2.2、安裝anaconda(直接去官網下載exe文件安裝)

安裝anaconda 參考方法

A.2.3 安裝tensorflow-gpu、pytorch開發框架

安裝pytorch,安裝0.3版本+1.x版本即可滿足絕大部分需要,通過conda安裝pytorch-gpu0.3.1版本,請參考https://ptorch.com/news/145.html
安裝pytorch-gpu1.x版本:https://pytorch.org/get-started/previous-versions/

安裝tensorflow-gpu:Ubuntu18.04使用anaconda3安裝tensorflow-gpu、pytorch

A.3、win10系統配置深度學習開發框架步驟

A.3.1、安裝nvidia顯卡驅動、安裝cuda、cudnn

cuda歷史版本下載地址
cudnn下載地址

A.3.2、安裝anaconda(直接去官網下載exe文件安裝)

A.3.3 安裝tensorflow-gpu、pytorch開發框架

安裝pytorch,安裝0.3版本+1.x版本即可滿足絕大部分需要,但pytorch0.4以前都不對windows開放,因而在windows下安裝0.3版本往往需要通過離線方式,以安裝pytorch-gpu0.3.1版本爲例,參考A.4 離線安裝開發框架步驟
安裝pytorch-gpu1.x版本:https://pytorch.org/get-started/previous-versions/

安裝tensorflow-gpu:Ubuntu18.04使用anaconda3安裝tensorflow-gpu、pytorch

A.4 離線安裝開發框架步驟

A.4.1 bz2壓縮包方式

首先需要下載Pytorch的conda離線安裝包,以以安裝pytorch-gpu0.3.1版本爲例,百度網盤下載地址爲:

鏈接:https://pan.baidu.com/s/1pteWFfenBvqC9S72WqcobA 
提取碼:w0i9

根據電腦cuda9.2的配置,在上述網盤中下載了pytorch-0.3.1-py36_cuda90_cudnn7he774522_2.tar.bz2(py36代表python版本爲3.6.x,cuda90代表電腦安裝的cuda版本需要是9.x,cudnn7代表cudnn版本7.x)。
在這裏插入圖片描述
下載完畢之後,直接cmd進入到pytorch-0.1.12-py36_0.1.12cu80.tar.bz2對應的目錄,激活python版本爲3.6.9虛擬環境torch031: conda activate torch031,然後執行以下命令進行離線安裝。

conda install --offline pytorch-0.1.12-py36_0.1.12cu80.tar.bz2 #離線安裝

在這裏插入圖片描述

A.4.2 whl包方式

對於下載好的whl文件,安裝的命令如下:詳情參考該博客

# 對於 Conda 的用戶需要先安裝以下包(完整的anaconda集成環境已經包括以下包)
conda install numpy mkl pyyaml cffi
# For Python 3.5
pip install torch-0.3.0b0.591e73e-cp35-cp35m-win_amd64.whl
# For Python 3.6
pip install torch-0.3.0b0.591e73e-cp36-cp36m-win_amd64.whl
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章