Как получить значения флагов, используемые при каждом запуске настройки в R при использовании пакета R Keras? - PullRequest
Новая
       30

Как получить значения флагов, используемые при каждом запуске настройки в R при использовании пакета R Keras?

0 голосов
/ 29 марта 2019

Я пытаюсь настроить гиперпараметры моей полностью связанной модели глубокого обучения, используя flags и tuning_run в R, используя пакет keras. Где я могу найти фактическое значение флага, используемого в каждом прогоне?

Я попытался найти значения гиперпараметра, используемые как во сгенерированном фрейме данных результата, так и в папке run /. В то время как все значения точности, функция потерь и другие мета-данные о прогонах присутствуют, гиперпараметры, для которых сгенерированы эти результаты, не включены (я следовал приведенному здесь примеру: https://tensorflow.rstudio.com/tools/tfruns/articles/tuning.html). Я вызываю свой tuning_run, как указано ниже 

runs <- tuning_run("test.R", flags = list(dropout1=c(0.5,0.4,0.3),dropout2=c(0.3,0.2),dense_units=c(128,256)),sample=0.3)

и моя модель использует флаги как 

model <- keras_model_sequential()
model %>% 
  layer_dense(units = 256, activation = 'relu', input_shape = c(784)) %>% 
  layer_dropout(rate = FLAGS$dropout_1) %>% 
  layer_dense(units = FLAGS$dense_units, activation = 'relu') %>%
  layer_dropout(rate = FLAGS$dropout_2) %>%
  layer_dense(units = 10, activation = 'softmax')

Когда я запускаю его, а потом ищу значение флагов, для которых генерируется определенная точность проверки (фрейм данных прогонов) Это то, что я наблюдаю 

Data frame: 2 x 25 
                    run_dir eval_loss eval_acc metric_loss metric_acc
1 runs/2019-03-29T00-14-10Z    0.1315   0.9794      0.0075     0.9977
2 runs/2019-03-29T00-10-37Z    0.1326   0.9816      0.0096     0.9973
  metric_val_loss metric_val_acc
1          0.1475         0.9794
2          0.1443         0.9794
# ... with 18 more columns:
#   samples, validation_samples, batch_size, epochs, epochs_completed,
#   metrics, model, loss_function, optimizer, learning_rate, script, start,
#   end, completed, output, source_code, context, type

Мне интересно, где найти значения флагов, используемых в каждой итерации. Или я что-то не так делаю? Любая помощь будет оценена. Спасибо!

1 Ответ

0 голосов
/ 29 марта 2019

Я выяснил, в чем проблема.Флаги также должны быть определены в целевом скрипте, чтобы керасы могли сообщить об этом.И именно поэтому он не показывал флаги в результирующем кадре.

Как только я добавил эти строки в тест. R он работал нормально 

FLAGS <- flags(
  flag_numeric('dropout_1', 0.04, 'First dropout'),
  flag_numeric('dropout_2', 0.3, 'Second dropout'),
  flag_integer('dense_units', 128, 'Units in dense layer')
)

Та же проблема и решение обсуждаются здесь: https://github.com/rstudio/tfruns/issues/24

...