Как использовать конкретные графические процессоры в керас для обучения нескольких графических процессоров?

Question

У меня есть сервер с 4 графическими процессорами. Я хочу использовать ровно 2 из них для обучения на нескольких GPU.

Предоставленная документация Keras здесь дает некоторое представление о том, как использовать несколько графических процессоров, но я хочу выбрать конкретные графические процессоры. Есть ли способ добиться этого?

Answer 1

from keras import backend as K
import tensorflow as tf
c = []
for d in ['/device:GPU:2', '/device:GPU:3']:
    with K.tf.device(d):
        config = tf.ConfigProto(intra_op_parallelism_threads=4,\
        inter_op_parallelism_threads=4, allow_soft_placement=True,\
        device_count = {'CPU' : 1, 'GPU' : 2})
        a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3])
        b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2])
        c.append(tf.matmul(a, b))
with tf.device('/cpu:0'):
    sum = tf.add_n(c)
session = tf.Session(config=config)
K.set_session(session)

Я думаю, что это должно работать.У вас должно быть количество (индекс) устройств GPU, которые вы хотите использовать.В этом случае его 2 и 3. Соответствующие ссылки 1) https://github.com/carla-simulator/carla/issues/116
2) https://www.tensorflow.org/guide/using_gpu#using_multiple_gpus