解决Keras使用GPU资源耗尽的问题

我们在使用GPU资源进行训练的时候，可能会发生资源耗尽的情况，那么在在这种情况，我们需要对GPU的资源进行合理的安排，具体使用办法如下：

框架：Tensorflow和Keras

方法

import tensorflow as tf
import keras.backend.tensorflow_backend as KTF
config = tf.ConfigProto()
config.gpu_options.allow_growth=True #不全部占满显存, 按需分配
sess = tf.Session(config=config)
KTF.set_session(sess) # 设置session

通过这种方法，就能合理的使用GPU资源了。

至少到目前位置，我自己从程序没出现资源耗尽的情况，当然，对于batchsize的设置，一定要设置在合理的范围，所谓合理，大家自己体会。

补充知识：keras使用GPU的一些坑

keras安装

conda install tensorflow-gpu

pip install keras

注意：不要使用conda安装keras，会检测依赖，默认安装上tensorflow的CPU版本。

keras运行报错，tensorflow/stream_executor/cuda/cuda_dnn.cc:329 Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR

解决方法：

增加如下代码：

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.5)
config = tf.ConfigProto(gpu_options=gpu_options)
config.gpu_options.allow_growth = True
session = tf.Session(config=config)