Можно ли выполнить оптимизацию HP с помощью ml-engine локально?

Question

Я пытаюсь настроить HP для своей модели, используя ml-engine на локальном сервере.В моем случае модель тренируется за один проход, но испытания HP не проводятся.Это проблема конфигурации или оптимизация HP не поддерживается в локальном режиме?

Моя локальная команда:

gcloud ml-engine local train --package-path $ PWD -имя модуля example.train - пример конфигурации / hpconfig.yaml - --param1 16 --param2 2

Мой конфигурационный файл:

trainingInput:
  workerCount: 1
  hyperparameters:
    goal: MINIMIZE
    hyperparameterMetricTag: val_loss
    maxTrials: 10
    maxParallelTrials: 1
    enableTrialEarlyStopping: True
    params:
    - parameterName: param1
      type: INTEGER
      minValue: 4
      maxValue: 128
      scaleType: UNIT_LINEAR_SCALE
    - parameterName: param2
      type: INTEGER
      minValue: 1
      maxValue: 4
      scaleType: UNIT_LINEAR_SCALE

Answer 1

К сожалению, HP Tuning не может быть запущен в локальном режиме.Я бы порекомендовал рабочий процесс следующим образом:

1. Локальный запуск с небольшими данными и т. Д., Чтобы убедиться, что все работает (я рекомендую использовать пути GCS).
2. Провести небольшой тест в облаке(одно задание), чтобы убедиться, что зависимости правильные, файлы данных правильно указывают на GCS, а не локально и т. д.
3. Запустите задание HP Tuning.

После того, как 1 и 2 сработают,3, как правило, тоже.

Кроме того, как примечание.Kubeflow поддерживает Katib для запуска заданий по настройке HP из любого развертывания kubernetes, включая Minikube (для локальной разработки).