при использовании tf.distribute.MirroredStrategy,
temp_grad=[tf.Variable([0.], trainable=False,
synchronization=tf.VariableSynchronization.ON_READ,
aggregation=tf.VariableAggregation.MEAN
)]
что означает синхронизация = tf.VariableSynchronization.ON_READ? что запустить следующий код
temp_grads2=[g.read_value() for g in temp_grads]
, почему temp_grads2 не может получить агрегирование (среднее) значения всех реплик в разных девайсах? значения temp_grad2 и temp_grad одинаковы. так как работает синхронизация? приведи пример, спасибо.