Каким должно быть соотношение / отношение между параметромServerType и workerCount?

Question

Я пытаюсь использовать API Tensorflow Object Detection для обучения SSD MobileNet V1 на Cloud ML Engine, и я хотел бы ускорить мое обучение. Здравый смысл говорит, что в идеале нужно увеличить workerCount, но это кажется экспериментальным. В некоторых сообщениях говорится о правильной настройке значений для parameterServerCount и workerCount, но я не могу найти хорошую документацию, относящуюся к тому же. Любая помощь в этом будет оценена.

Answer 1

Эти поля предназначены для распределенного обучения: https://www.tensorflow.org/deploy/distributed

В целом, большее количество работников увеличат скорость обучения, но в определенный момент это ускорение может стать незначительным.

parameterServerType используется для хранения параметров модели, и пока это не является узким местом, вам не нужно добавлять больше.