這個問題我遇到不少坑。網上類似的教程很多，我總結一個很實用的方法（避免入坑）
硬件配置：我的電腦配置是win10系統（64bit），處理器i7-8750，顯卡8G GTX1070
1. 首先安裝CUDA9.0和cuDNN7.4
到官網下載CUDA9.0和cuDNN7.4（對應版本），確保你的電腦有GPU（需要查一下GPU可安裝的CUDA和CUDnn版本）
cuda官網：https://developer.nvidia.com/cuda-toolkit-archive
cudnn官網：https://developer.nvidia.com/rdp/cudnn-download（需註冊）
安裝CUDA9.0和cuDNN7.5之前需要安裝vs2015（或者更高版本），不然會出錯（vs2015我最後是用了一個社區版的，可以去網上下載，我自己找了好幾個版本的，有的版本在win10下安裝不成功win7下安裝卻可以）
雙擊從官網下載的cuda9.0安裝程序，解壓得到一個文件夾，然後自動開始安裝程序，按照提示安裝即可（最好使用管理員權限進行安裝）。安裝cuda9.0如果出現些問題，可以嘗試重新安裝下NVIDIA顯卡驅動（一般問題不大，關鍵是要安裝vs2015）。
安裝cuda9.0後，要在用戶變量的Path中添加：C:\ProgramData\NVIDIA GPU Computing Toolkit\v9.0\bin ，同時確保系統變量中 CUDA_PATH和CUDA_PATH_V9.0已經存在。完成操作後打開命令提示符，輸入 nvcc --version，查看cuda安裝是否成功
接着安裝cudnn，解壓cudnn7.4安裝包，將文件夾裏內容拷貝至安裝CUDA的地方覆蓋對應文件夾，默認文件夾在： C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0
這裏再分享一個windows系統下cuda版本切換的方法：比如已經安裝了cuda8.0和cuda9.0（兩個版本都是一樣的安裝步驟），到系統環境變量Path編輯，可以看到
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\libnvvp
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\libnvvp
比如當前是cuda8.0，將v9.0的兩個路徑上移到頂部，就可以切換到cuda9.0。可以重新開啓命令行輸入 nvcc -V c 查看，這大概是因爲環境變量先找到 v9.0 吧，同樣想切換到cuda8.0，把v8.0 的兩個路徑上移到頂部即可。（前提cuda8.0和9.0都安裝好了）
在Windows系統中安裝了NVIDIA的驅動後，會發現不能使用nvidia-smi命令，把nvidia-smi.exe的路徑添加到系統環境變量（默認路徑爲C:\Program Files\NVIDIA Corporation\NVSMI），然後重新打開cmd即可
2. 安裝python3.6和pytorch
CUDA9.0和cuDNN7.4安裝好之後，接着安裝python和pytorch。
到python官網下載 python-3.6.5-amd64，網址：https://www.python.org/downloads/windows/
說明一下，很多網上安裝教程推薦anaconda3，anaconda有強大的軟件包管理功能並自帶多個常用python庫，可以說是入門python的利器（確實很好用），但我個人在使用過程遇到一些奇怪的問題（折騰起來也很麻煩）。這裏就直接安裝python3.6，（記得安裝選項中勾上pip和添加環境變量），然後利用pip安裝numpy，pandas，matplotlib，scipy等python庫。
最後要安裝pytorch了。因爲要使用GPU (深度學習利器)，我們要下載gpu版本的pytorch。去pytorch官網下載
pytorch網站：https://pytorch.org/ 選擇stable，windows，pip，python3.6，cuda9.0選項下的whl文件下載。注意最好不要修改whl文件名（會可能導致pytorch無法安裝，我被這麼坑過）。pytorch1.0下載網址：https://download.pytorch.org/whl/cu90/torch-1.0.1-cp36-cp36m-win_amd64.whl
3. 最後torch安裝成功，接着 pip install torchvision （torchvision 是個很重要的模塊，最好裝上），這樣pytorch就安裝完成。不過安裝成功後導入torch模塊（ import torch ）也可能會出現錯誤（很少見），這時怎麼辦
去 https://anaconda.org/anaconda/intel-openmp/files 下載 win-64/intel-openmp-2019.1-144.tar.bz2（最近的版本，win-64位），解壓 intel-openmp，將Library\bin下的dll文件全都拷貝到Python安裝目錄裏的dll路徑裏（\Python36\DLLs）
然後把DLLs文件夾路徑添加到環境變量中（我的電腦--屬性--高級系統設置--高級--環境變量--path--添加）
完美解決！！！
成功後測試一下cuda是否可以用，python腳本中輸入： print(torch.cuda.is_available())
順便看看pytorch版本，python腳本中輸入： print(torch.__version__)
4. 安裝tensorflow-gpu，這個比較簡單，可以先下載好相應的whl文件在本地安裝，下載地址如下：
https://pypi.org/project/tensorflow-gpu/#files
我這裏下載了支持python3.6的版本 tensorflow_gpu-1.12.0-cp36-cp36m-win_amd64.whl，命令行使用pip進行安裝
pip install tensorflow_gpu-1.12.0-cp36-cp36m-win_amd64.whl
最後檢查一下tensorflow是否可用（一般不會有問題），啓動一個python腳本，輸入
import tensorflow as tf
print(tf.__version__)
沒有問題即安裝成功