Влияет ли `tf.distribute.MirroredStrategy` на результат обучения?

Question

Я не понимаю, влияет ли MirroredStrategy на результат обучения.

Под этим я подразумеваю: модель, обученная на одном устройстве, совпадает с моделью, обученной на нескольких устройствах?

Я думаю, что это должна быть та же модель, потому что это просто распределенный расчет градиентов, не так ли?

Answer 1

Да, модель, обученная на одном GPU и нескольких GPUS (на одной машине), одинакова. То есть переменные в модели реплицируются и синхронизируются c на всех графических процессорах согласно документации.