MultiWorkerMirroredStrategy () не работает на Google AI-Platform (CMLE)

Question

Я получаю следующую ошибку при использовании MultiWorkerMirroredStrategy () для обучения Custom Estimator на Google AI-Platform (CMLE).

ValueError: Unrecognized task_type: 'master', valid task types are: "chief", "worker", "evaluator" and "ps".

Оба MirroredStrategy () и PamameterServerStrategy () отлично работают на платформе AI с соответствующими файлами config.yaml. В настоящее время я не предоставляю области устройства для любых операций. Ни то, ни другое Я предоставляю любой фильтр устройства в конфигурации сеанса, tf.ConfigProto(device_filters=device_filters).

Файл config.yaml, который я использую для обучения с MultiWorkerMirroredStrategy () - это:

trainingInput:
  scaleTier: CUSTOM
  masterType: standard_gpu
  workerType: standard_gpu
  workerCount: 4

Ввод masterType является обязательным для отправки учебного задания на AI-платформе.

Примечание: в нем отображается 'главный' как действительныйТип задачи и «мастер» как недопустимые. Я предоставляю tenorflow-gpu == 1.14.0 в setup.py для пакета тренера.

Answer 1

(1) Похоже, что это ошибка в MultiWorkerMirroredStrategy. Пожалуйста, отправьте сообщение об ошибке в TensorFlow. В TensorFlow 1.x должен использоваться мастер, а в TensorFlow 2.x - главный. Код (ошибочно) запрашивает руководителя, а AI Platform (потому что вы используете 1.14) предоставляет только мастера. Кстати: мастер = начальник + оценщик.

(2) Не добавляйте тензор потока в ваш файл setup.py. Предоставьте инфраструктуру тензорного потока, которую вы хотите использовать в AI Platform, используя --runtime-version (см. Флаг https://cloud.google.com/ml-engine/docs/runtime-version-list) для gcloud.