AWS Sagemaker - эксперименты, отладчик и настройка гиперпараметров - PullRequest
Новая
       11

AWS Sagemaker - эксперименты, отладчик и настройка гиперпараметров

0 голосов
/ 05 февраля 2020

ВОПРОС

Я пытаюсь использовать новые функции AWS Sagemaker для моего анализа. У меня возникли следующие вопросы:

  1. Есть ли примеры для экспериментов с мудрецом с Tensorflow. Я вижу пример репозитория с Torch с использованием набора данных MNIST. У меня есть свой собственный контейнер TF2.0, который я пытаюсь организовать с помощью AWS Sagemaker. Я изменил свой блокнот для оценки на основе этого примера. https://github.com/awslabs/amazon-sagemaker-examples/blob/master/sagemaker-experiments/mnist-handwritten-digits-classification-experiment.ipynb. Я получил испытания, зарегистрированные в IDE. Я пытаюсь понять изменения, необходимые в сценарии точки входа.

  2. Я пытаюсь выполнить задание по настройке гиперпараметра, используя новый hyperparameterTuner в Sagemaker 1.50.8. Мои задания выполняются успешно, но мое регулярное выражение не может захватить целевую функцию. Моя модель выводит val_mse как значение в логах. Я использую следующий код, и он не в состоянии захватить метрику цели c. Будем благодарны за любые предложения. 

    objective_metric_name = 'loss'
objective_type = 'Minimize'
metric_definitions = [{'Name': 'loss',
               'Regex': 'loss = ([0-9\\.]+)'}]

  3. Я пытаюсь настроить Sagemaker Debugger в своем коде с помощью smdebug. Я настраиваю это таким образом в моей оценке TensorFlow. Я получаю сообщение об ошибке «Внутренняя ошибка сервера, повторите попытку позже». Что я делаю неправильно? Какие изменения я должен сделать, чтобы сделать Tensorboard Logs доступными? Любой пример приветствуется. 

    from sagemaker.debugger import Rule, DebuggerHookConfig, 
  TensorBoardOutputConfig, CollectionConfig, rule_configs
    rules = [
     Rule.sagemaker(rule_configs.vanishing_gradient()), 
     Rule.sagemaker(rule_configs.loss_not_decreasing())
          ]
...