這是本人從零到一學習深度學習的第一篇記錄,也不知道能寫出多少學習記錄,也不知道能學到多少,總之記錄下自己的學習過程,遇坑過程,一切跟深度學習的過程都會一一記錄,一方面給自己回頭看的一點念想,另一方面給其他同學參考,按這一篇就可以解決對應的問題.

2020年3月9日 by 第一段代碼

<這個安裝看了好多人的安裝博客,最後理順和整合了一下,講到底看我這一篇搭建深度學習環境就足夠了,按步驟走完安裝Tensorfllow2.0-GPU/CPU+Keras環境肯定沒有問題了>

Tips:CPU和GPU安裝大致相同,只是因爲電腦配置問題安裝不了GPU版,需要跳過2.1 NVIDIA-CUDA/cuDNN配置,直接安裝完python環境後進入2.2tensorflow的安裝即可.

A 電腦配置:

Windows10 64bit

顯卡:Nvidia GeForce 920MX -初始版本:382.05

B 目標安裝環境:

a- python3.7

b- tensorflow2.0-gpu

c- cuda10.0--NVIDIA計算加速器

d- cudnn7.5 for cuda10.0 --神經網絡加速器

(cuda10.0和cudnn都是安裝tensorflow-gpu版本要求的,cpu版本不需要,同時cuda的版本和cudnn版本又是相關聯的)

e- keras

f- 編程工具:Pycharm2019

C 安裝實現過程:

1.Python環境安裝

1.1 Anaconda安裝Python環境

Pyhton環境:Anaconda-Python3.7

下載地址:https://repo.anaconda.com/archive/Anaconda3-2019.10-Windows-x86_64.exe

https://www.python.org/downloads/release/python-376/

這裏使用了Anaconda安裝Python環境爲啥沒直接用pyhton3.*.exe安裝呢?前期筆者調研了好多,歸納兩個原因如下:1)Anaconda集成了很多包,非常方便包的管理;2)好多人人推薦都是anaconda;(其實一開始,我是直接用python3.7.exe安裝,而且安裝好了,沒啥區別)

Tips:這裏建議大家勾選上上第一個加入到系統的Path變量中,省得後面再去配環境,這樣可以直接使用cmd命令運行了.

1.2測試Anaconda是否安裝成功:conda list

可以看到anaconda帶的很多庫,一般安裝這個一般不會出錯,就是簡單的軟件安裝.

1.3 配置國內鏡像-下載依賴包加速

我們知道python等一些開發語言都不是國內的,服務器在國外,下載軟甲都是比較慢的,比較好的辦法就是將下載鏡像源改到合作方國內鏡像,一方面下載速度較快,另方面不那麼容易下載中斷失敗.

這裏我們使用了清華大學的鏡像源,打開cmd,直接敲入下面一段命令即可:

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

2.深度學習框架安裝

a-安裝CUDA計算加速器

b-安裝cuDNN神經網絡計算加速器(和前者配套的,後者安裝失敗,依然會使tensorflow安裝失敗)

c-安裝Tensorflow-gpu

d-安裝kares框架

由於本次我們安裝的是tensorflow2.0-gpu版本,GPU版本對系統硬件的有特殊要求,cpu版本則沒有.要求如圖,所以安裝Tensorflow之前,需要安裝GPU的要求NVIDIA的驅動及CUDA工具支持:

Tips:如果你電腦顯卡不是NVIDIA的是AMD等顯卡,直接可以跳過2.1這一步,沒有NVIDIA顯卡安裝不了GPU版本,只能跑CPU版本.

2.1 CUDA(NVIDIA專門提供的計算加速器)

安裝之前,先查看自己的NVIDIA是否能夠支持上圖所述,如果滿足要求,就可以跳過升級顯卡這一步.如果不能滿足,可能就需要更新一下顯卡的驅動(不知道是否都能成功,筆者電腦的GeForce 920MX原版本382.05升級成功到了符合要求的416.94,其實可以升級到更高,其他版本網絡不好下不下來)

2.1.1 判斷顯卡是否滿足tensorflow2.0-gpu安裝要求

方式:控制面板-硬件和聲音-NVIDIA 控制面板(或其他方式進入NVIDA控制面板)-即可查看當前顯卡的版本信息

如果符合安裝要求,那就直接跳過升級步驟,直接進入第三步安裝CUDA.

不符合,我們就需要去檢查下是否有機會升級驅動.

2.1.2升級驅動

檢查地方:

GeFerce版顯卡:https://www.geforce.com/drivers

其他NVIDIA版本檢查:https://www.nvidia.com/Download/index.aspx?lang=en-us

在這個網址現在你電腦顯卡的型號,查詢下就可以看看有沒有升級包了,有下載一個滿足要求更高的包升級就好了.如筆者的:

看,很多個可升級的包,而且大於410.X,我們去下載其中一個就好了.(Tips:很遺憾,點進去下載,可能網絡問題,下載直接失敗,最後我網上找了一個416的版本進行了升級,升級需要的大家可以留言的)

下載好了之後,默認安裝就完了,安裝完,我們再去NVIDIA控制面板,就可以看到我們最新更新後的版本.如圖:

於似乎,我們就可以開始CUDA的安裝啦,這裏安裝對應的cuda10.0版本(建議升級完了,重啓一下電腦)

2.1.3安裝CUDA10.0(計算加速器)

CUDA下載地址(下載不成功可以評論區找我分享):

https://developer.nvidia.com/cuda-10.0-download-archive?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exelocal

2.1.3-1 cuda安裝

先會彈出一個類似文件加壓釋放的程序.然後纔是正式安裝，安裝第一步記得選擇自定義安裝，默認推薦安裝可能遇到坑.

2.1.3-2 取消NVIDIA GeForce 這個組件安裝.NVIDIA自己都快淘汰他了.

2.1.3-3 Visual Studio Intergration組件可不安裝(本機裝了VS的可以勾選,沒安裝的不要勾-這項設置要點開CUDA下才會顯示出來)

2.1.3-4 Display Driver版本比對:這一步很關鍵,版本一定要覈對正確,不然會安裝報錯(-這項設置要點開CUDA下才會顯示出來):

顯卡版本比對,如果當前顯卡版本號大於CUDA自身默認安裝的版本號,一定要取消這個勾.如當前我電腦升級後是416版,而CUDA默認會安裝的是411版,那麼就不需要勾選!!!!

其實CUDA這裏主要是爲了我們電腦顯卡版本不夠,給我們升級顯卡版本用的,似乎有點像我們2.1.2升級顯卡的味道.這裏也是我後面看資料發現CUDA還帶有顯卡升級這一福利,這樣看來完全可以跳過2.1.2顯卡升級的步驟,沒有測試過,建議還沒有安裝的同學試試,應該可以跳過顯卡升級那步,如果成功了,麻煩評論告知一下呀.

2.1.3-5 軟件安裝位置需要留一下,知道放在那裏就行,等下配置Path環境要使用的.

2.1.3.6 暫時放一邊,先裝cuDNN(它是解壓文件,加壓文件要放到CUDA安裝文件相應的地方即可),裝好在回來配置CUDA的PATH環境變量.

2.1.4安裝cuDNN7.5 For CUDA10.0

cuDNN下載地址:

https://developer.nvidia.com/rdp/cudnn-archive

cudnn要看cuda的版本，如cuda10.0，那麼cudnn可以是7.* for cuda10.0,記得看清楚for對應的cuda版本,一定要和我們安裝的cuda版本對應。這裏需要註冊登錄才能下載.

解壓下載好得到的文件夾改成成cuDNN，裏面有三個文件夾【bin、include、lib】.

然後把cudnn這個文件夾複製到cudn安裝根目錄中.如圖:

2.1.5 配置和測試CUDA和cuDNN

(1)配置環境變量

配置環境變量-Path變量(我的電腦-屬性-高級系統屬性-環境變量-系統變量-編輯Path變量)

主要在Path變量添加CUDA安裝目錄下的以下4條路徑記錄,用於啓動cuda和cuDNN環境,而且都要按這個順序,必須位於頂部,缺一不可(具體目錄看大家自己安裝的目錄).

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\libnvvp

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\extras\CUPTI\libx64

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\cudnn

(4行缺一不可,必須位於頂部,按順序配置,第一二條可能安裝cuda時候會自動加到path中,如果直接配置後面兩條就好了)

(2)測試cuda是否安裝成功

調出cmd,輸入:

nvcc -V

可以看大CUDA輸出以及版本好,說明就是安裝成功啦

2.2 安裝Tensorflow2.0-GPU/CPU版

上述步驟完成了安裝框架的前奏,萬事俱備只欠東風,我們可以開始迎出我們真正的主角安裝了,講到底上面要是都安裝成功了TensorFlow不會安裝失敗的.

2.2.1 建議新建一個Python的虛擬環境安裝(不安裝虛擬環境,可以跳過,進入2.2.2-(3))

爲什麼用虛擬環境?可以參見我之前寫的一篇博客:Python爲什麼要使用虛擬環境-Python虛擬環境的安裝和配置-virtualenv(https://blog.csdn.net/godot06/article/details/81079064)

核心主要就是爲了放置版本不兼容,版本衝突,所以無論做項目還是科研都建議使用虛擬環境進行.比如哪天我們想要用tensorflow2.0框架來玩數據,就使用使用tensorflow2.0的虛擬機,該虛擬機有我們裝好的對應庫;哪天我們需要使用Pytourch框架來訓練,我們就切換到pytourch的虛擬環境.這樣兩者可以並行兼容,不會那麼容易出現兼容衝突問題.這裏這是舉例子,不一定這兩個框架就得分開哈,能不能一起我也還不知道,畢竟還菜,這是我的第一篇深度學習筆記.

Tips:如果不想用虛擬機的,請直接跳過虛擬機部分,不影響tensorflow的安裝,但是建議使用,這樣不會把原始環境或和其他環境搞亂.如果到時候要換機器,直接把當前環境導入出來裏面就可以換.

在Anaconda下有關虛擬機的命令有:

a-查看當前有哪些虛擬環境: conda info --envs

b-檢查有哪些版本的python可以用來安裝虛擬環境：conda search --full-name python

(其實也是conda用於查看Anaconda安裝後有那幾個版本pyhton,也說明新建虛擬環境時可以根據需求自行指定要安裝的python版本)

c-新建虛擬機指定版本的虛擬機: conda create --name tensorflow python=3.7

(這個就是新建一個虛擬環境爲python3.7 虛擬環境名稱是tensorflow)

d-激活虛擬機/進入該虛擬機: activate tensorflow

(進入虛擬機後,可以理解成,他就是一個新python環境,裏面的python指令操作都是可以進行的如查看當前python的版本 : python --version)

e-退出虛擬機: deactivate

f-刪除當前虛擬機:conda remove --name yourenvname(tensorflow) --all

Tips:還是那句話,如果不想用虛擬機的,請直接跳過虛擬機部分,進入2.2.2-(3)不影響tensorflow的安裝,但是建議使用,這樣不會把原始環境或和其他環境搞亂.如果到時候要換機器,直接把當前環境導入出來裏面就可以換.

好的下面進入我們主角Tensorflow2.0-GPU框架的安裝吧

2.2.2 安裝Tensorflow

(1)新建名爲tensorflow的虛擬環境,用來專門進行tensorflow學習訓練,版本指定使用python3.6

conda create --name tensorflow python=3.6

(2) 進入剛剛新建以及以後要常常使用虛擬環境

activate tensorflow

(3)安裝Tensorflow

在該虛擬環境下,安裝我想要的依賴框架,比如我們的主角tensorflow2.0-GPU等python依賴庫(也就是說,以後跟tensorflow相關的依賴我都安裝到這個虛擬環境下使用).安裝tensorflow2.0-GPU版本(萬衆矚目的以下,成敗在此一舉):

pip install --ignore-installed --upgrade tensorflow-gpu==2.0

Tips:

①如果你是使用了上述我闡述或提供CUDA10.0,那麼安裝tensorflow-gpu時,在tensorflow後面指定要下載的版本2.0,不指定會下載最新的tensorflow,如目前最新的是2.1,這樣會和顯卡型號不匹配.安裝會順利完成不會報錯,但是導入import tensorflow的時候就會給你莫名錯誤.切記切記

②如果你的電腦沒有NVIDIA顯卡,就是前面說可以直接跳2.1這一步步驟,同樣可以裝虛擬環境,然後使用以下命令安裝CPU版本的tensorflow2.0

pip install --ignore-installed --upgrade tensorflow==2.0

安裝tensorflow打印的一些日誌:

這些是安裝tensorflow自動下的安裝依賴.

2.3 安裝Kares

由於我們項目還用到了keras,所以這裏也記錄一下(不需要的可以跳過)

安裝Keras包:

pip install keras -U --pre

2.4 測試tensorflow是否安裝成功/tensorflow-gpu版本是否成功

一般使用import tensorflow 如果成功,基本說明安裝成功;測試tensorflow-gpu是否成功,可以額外使用一個方法:

import tensorflow as tf tf.constant(1.)+tf.constant(2.) tf.test.is_gpu_available() //專門測試gpu是有有用

至此,我們的tensorflow2.0+Kares在虛擬環境下正式安裝配置完成,同學可以認真的參與深度學習的玩耍了.tensorflow還是比較耗機器的,建議換一個顯卡好一點的機器跑.還是那句話,如果不想用虛擬機的,請直接跳過虛擬機部分,不影響tensorflow的安裝,但是建議使用,這樣不會把原始環境或和其他環境搞亂.如果到時候要換機器,直接把當前環境導入出來裏面就可以換.