В Tensorflow существует много распределенных стратегий,
- MirroredStrategy
- TPUStrategy
- MultiWorkerMirroredStrategy
- CentralStorageStrategy
- ParameterServerStrategy 1012 *
- OneDeviceStrategy
Некоторые из них работают на одной машине и транслируют модель на разные графические процессоры, а некоторые используют разные графические процессоры на разных машинах.
У меня вопрос, если у меня нет GPU на моем сервере, какую стратегию мне следует использовать, чтобы я мог получить преимущество при проведении распределенного обучения?
Я пытаюсь запустить MirroredStrategy , ParameterServerStrategy на четырех машинах, но кажется, что это медленнее, чем на одной машине.