Вы можете настроить, сколько графического процессора вы хотите пожертвовать.
config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.4
session = tf.Session(config=config, ...)
Например, в этом примере из официальной документации ваша программа будет использовать 40% общей памяти вашего графического процессора.
Для более подробной информации вы можете проверить документацию