Я планирую тренировать свою модель с несколькими графическими процессорами, и мне было интересно, почему именно мне нужно использовать шард.
У меня есть следующий код.
dataset = ...
iterator = dataset.make_one_shot_iterator()
for i in range(FLAGS.num_gpus):
with tf.device('/gpu:%d' % i):
data = iterator.get_next()
loss = ...
Это неправильный способ сделать это? Использование dataset.shard (...) более выгодно?