Как запустить TensorFlow 2 в распределенной среде с Horovod? - PullRequest
Новая
       60

Как запустить TensorFlow 2 в распределенной среде с Horovod?

0 голосов
/ 03 апреля 2020

Я успешно настроил распределенную среду и запустил пример с Horovod . И я также знаю, что если я хочу запустить тест на TensorFlow 1 в распределенной установке, например, 4 узла, следуя учебному пособию , отправка должна быть: 

$ horovodrun -np 16 -H server1:4,server2:4,server3:4,server4:4 \
    python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py \
        --model resnet101 \
        --batch_size 64 \
        --variable_update horovod \
        --data_dir /path/to/imagenet/tfrecords \
        --data_name imagenet \
        --num_batches=2000

Но сейчас Я хочу запустить официальные модели TensorFlow 2 , например модель BERT. Какую команду мне использовать?

...