Правильный способ передать параметры пользовательской модели для модели RLLib? - PullRequest
Новая
       122

Правильный способ передать параметры пользовательской модели для модели RLLib?

0 голосов
/ 13 июля 2020

У меня есть базовая c пользовательская модель, которая по сути является просто копией-вставкой полностью подключенной модели RLLib по умолчанию (https://github.com/ray-project/ray/blob/master/rllib/models/tf/fcnet.py), и я передаю параметры пользовательской модели через конфигурацию файл со словарем "custom_model_config": {}. Этот файл конфигурации выглядит следующим образом: 

# Custom RLLib model
custom_model: test_model

# Custom options
custom_model_config:
  ## Default fully connected network settings
  # Nonlinearity for fully connected net (tanh, relu)
  "fcnet_activation": "tanh"
  # Number of hidden layers for fully connected net
  "fcnet_hiddens": [256, 256]
  # For DiagGaussian action distributions, make the second half of the model
  # outputs floating bias variables instead of state-dependent. This only
  # has an effect is using the default fully connected net.
  "free_log_std": False
  # Whether to skip the final linear layer used to resize the hidden layer
  # outputs to size `num_outputs`. If True, then the last hidden layer
  # should already match num_outputs.
  "no_final_linear": False
  # Whether layers should be shared for the value function.
  "vf_share_layers": True

  ## Additional settings
  # L2 regularization value for fully connected layers
  "l2_reg_value": 0.1

Когда я начинаю процесс обучения с этой настройкой, RLLib выдает мне следующее предупреждение:

Custom ModelV2 должен принимать все пользовательские параметры как ** kwargs, вместо того, чтобы ожидать их в config ['custom_model_config']!

Я понимаю, что делает ** kwargs, но не уверен, как go реализовать его с помощью настраиваемого Модель RLLib, чтобы исправить это предупреждение. Есть идеи?

...