这个问题我遇到不少坑。网上类似的教程很多，我总结一个很实用的方法（避免入坑）
硬件配置：我的电脑配置是win10系统（64bit），处理器i7-8750，显卡8G GTX1070
1. 首先安装CUDA9.0和cuDNN7.4
到官网下载CUDA9.0和cuDNN7.4（对应版本），确保你的电脑有GPU（需要查一下GPU可安装的CUDA和CUDnn版本）
cuda官网：https://developer.nvidia.com/cuda-toolkit-archive
cudnn官网：https://developer.nvidia.com/rdp/cudnn-download（需注册）
安装CUDA9.0和cuDNN7.5之前需要安装vs2015（或者更高版本），不然会出错（vs2015我最后是用了一个社区版的，可以去网上下载，我自己找了好几个版本的，有的版本在win10下安装不成功win7下安装却可以）
双击从官网下载的cuda9.0安装程序，解压得到一个文件夹，然后自动开始安装程序，按照提示安装即可（最好使用管理员权限进行安装）。安装cuda9.0如果出现些问题，可以尝试重新安装下NVIDIA显卡驱动（一般问题不大，关键是要安装vs2015）。
安装cuda9.0后，要在用户变量的Path中添加：C:\ProgramData\NVIDIA GPU Computing Toolkit\v9.0\bin ，同时确保系统变量中 CUDA_PATH和CUDA_PATH_V9.0已经存在。完成操作后打开命令提示符，输入 nvcc --version，查看cuda安装是否成功
接着安装cudnn，解压cudnn7.4安装包，将文件夹里内容拷贝至安装CUDA的地方覆盖对应文件夹，默认文件夹在： C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0
这里再分享一个windows系统下cuda版本切换的方法：比如已经安装了cuda8.0和cuda9.0（两个版本都是一样的安装步骤），到系统环境变量Path编辑，可以看到
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\libnvvp
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\libnvvp
比如当前是cuda8.0，将v9.0的两个路径上移到顶部，就可以切换到cuda9.0。可以重新开启命令行输入 nvcc -V c 查看，这大概是因为环境变量先找到 v9.0 吧，同样想切换到cuda8.0，把v8.0 的两个路径上移到顶部即可。（前提cuda8.0和9.0都安装好了）
在Windows系统中安装了NVIDIA的驱动后，会发现不能使用nvidia-smi命令，把nvidia-smi.exe的路径添加到系统环境变量（默认路径为C:\Program Files\NVIDIA Corporation\NVSMI），然后重新打开cmd即可
2. 安装python3.6和pytorch
CUDA9.0和cuDNN7.4安装好之后，接着安装python和pytorch。
到python官网下载 python-3.6.5-amd64，网址：https://www.python.org/downloads/windows/
说明一下，很多网上安装教程推荐anaconda3，anaconda有强大的软件包管理功能并自带多个常用python库，可以说是入门python的利器（确实很好用），但我个人在使用过程遇到一些奇怪的问题（折腾起来也很麻烦）。这里就直接安装python3.6，（记得安装选项中勾上pip和添加环境变量），然后利用pip安装numpy，pandas，matplotlib，scipy等python库。
最后要安装pytorch了。因为要使用GPU (深度学习利器)，我们要下载gpu版本的pytorch。去pytorch官网下载
pytorch网站：https://pytorch.org/ 选择stable，windows，pip，python3.6，cuda9.0选项下的whl文件下载。注意最好不要修改whl文件名（会可能导致pytorch无法安装，我被这么坑过）。pytorch1.0下载网址：https://download.pytorch.org/whl/cu90/torch-1.0.1-cp36-cp36m-win_amd64.whl
3. 最后torch安装成功，接着 pip install torchvision （torchvision 是个很重要的模块，最好装上），这样pytorch就安装完成。不过安装成功后导入torch模块（ import torch ）也可能会出现错误（很少见），这时怎么办
去 https://anaconda.org/anaconda/intel-openmp/files 下载 win-64/intel-openmp-2019.1-144.tar.bz2（最近的版本，win-64位），解压 intel-openmp，将Library\bin下的dll文件全都拷贝到Python安装目录里的dll路径里（\Python36\DLLs）
然后把DLLs文件夹路径添加到环境变量中（我的电脑--属性--高级系统设置--高级--环境变量--path--添加）
完美解决！！！
成功后测试一下cuda是否可以用，python脚本中输入： print(torch.cuda.is_available())
顺便看看pytorch版本，python脚本中输入： print(torch.__version__)
4. 安装tensorflow-gpu，这个比较简单，可以先下载好相应的whl文件在本地安装，下载地址如下：
https://pypi.org/project/tensorflow-gpu/#files
我这里下载了支持python3.6的版本 tensorflow_gpu-1.12.0-cp36-cp36m-win_amd64.whl，命令行使用pip进行安装
pip install tensorflow_gpu-1.12.0-cp36-cp36m-win_amd64.whl
最后检查一下tensorflow是否可用（一般不会有问题），启动一个python脚本，输入
import tensorflow as tf
print(tf.__version__)
没有问题即安装成功