训练时ResourceExhaustedError解决方案

1. 首先检查是否有其他进程占用GPU

nvidia-smi 查看当前使用 GPU 的情况:
PID 就是进程号, 可以发现进程 3232 占用了大部分内存, 故选择杀死它:
sudo kill -9 3232
如下图所示:

如果发现不是 GPU 占用导致的问题, 请看下面的方法:

2. 检查GPU的配置

2.1 限制GPU使用

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.5
config.gpu_options.allow_growth = True
with tf.Session(config=config) as sess:

2.2 指定使用的GPU

import os
os.environ['CUDA_VISIBLE_DEVICES'] = "1"

2.3 减小 batch size

将 batch size 设为 1