Зеркальное отображение модели с несколькими графическими процессорами на нескольких графических процессорах

Question

У меня есть модель tenorflow (tf2.0) / keras, которая использует несколько графических процессоров для своих вычислений. В модели есть 2 ветви, каждая из которых находится на отдельном графическом процессоре.

У меня есть система с 4 графическими процессорами, которую я хочу использовать для обучения, и я хотел бы отразить эту модель, чтобы графические процессоры 1 и 2 содержалиодна модель и графические процессоры 3 и 4 содержат зеркальную модель.

Будет ли tf.distribute.MirroredStrategy автоматически обрабатывать это зеркалирование? Или предполагается, что моя модель будет моделью с одним графическим процессором?

Если tf.distribute.MirroredStrategy не справится с этим, у кого-нибудь есть какие-либо предложения о том, как настроить MirroredStrategy для достижения этой структуры обучения?

Answer 1

Это звучит очень похоже на то, что вам нужно будет выполнить пользовательский цикл обучения. Зеркальная стратегия воспроизводит модель на каждом графическом процессоре, но поскольку ваша модель уже установлена ​​на двух графических процессорах, я не думаю, что она будет работать должным образом.

Но вы можете попробовать и проверить с помощью nvidia-smi, что делает tenorflow.