Я использую tf.estimator и tf.distribute для управления моей тренировочной петлей в TensorFlow 2.0. Я хотел бы создать некоторые переменные, которые являются локальными для текущей реплики в рамках стратегии. Как мне этого добиться?
Мой пример использования - поддержка накопления градиента в сочетании с tf.distribute У меня была реализация, которая работает с классической репликацией model_fn. По сути, каждая реплика накапливает градиенты в локальных переменных, которые затем уменьшаются как градиенты в Optimizer.apply_gradients.
Спасибо за любые указатели,
Гийом