Совместное использование весов графиков для нескольких областей tf.distribute.Strategy? - PullRequest
0 голосов
/ 11 июля 2019

Я занимаюсь портированием кода с TF 1.0 на TF 2.0 и обновляю свои распределенные модели, чтобы использовать новый API распространения.Ни один из примеров не соответствует моему варианту использования, который включает сбор данных от обучающего агента подкрепления в одном потоке сбора данных и обучение вне политики агента в отдельном потоке.Чтобы сделать это, я хотел бы иметь две отдельные области tf.distribute, выделенные на разных графических процессорах, так что прямой проход через сеть политик не блокирует операции обновления при обучении сети, но с весами, общими для обеих областей (толькоодин действительно обновит модель).Как правило, я использую tf.train.replica_device_setter со старым распределением стилей сервера параметров для распределения параметров моей модели на ЦП, что позволяет мне делиться моделью везде, где я призываю эту область.

...