Multi GPU обучение с оценщиками - PullRequest
0 голосов
/ 14 июня 2019

в этой ссылке https://www.tensorflow.org/beta/tutorials/distribute/multi_worker_with_estimator они говорят, что при использовании Estimator для обучения нескольких рабочих необходимо разделить набор данных на количество рабочих, чтобы обеспечить конвергенцию модели. Для нескольких рабочих они означают несколько одна система или распределенное обучение? у меня 2 gpus в одной системе, нужно ли мне осколок набора данных?

1 Ответ

1 голос
/ 14 июня 2019

Нет, нет - несколько рабочих ссылаются на кластер машин.

Для одной машины с несколькими графическими процессорами вам не нужно ее расщеплять.

В этом руководстве объясняется, какая MirroredStrategy нужна для нескольких графических процессоров: https://www.tensorflow.org/beta/tutorials/distribute/keras

Для различных распределенных стратегий для разных установок вы можете обратиться сюда для получения дополнительной информации: https://www.tensorflow.org/beta/guide/distribute_strategy#types_of_strategies

...