Я нашел хороший пример обучения подкреплению на github, который я хотел бы использовать.Моя проблема в том, что выходные данные являются нормальным слоем распределения (код ниже), потому что он используется для пространств непрерывного действия, тогда как я хотел бы использовать его для дискретных пространств действия, где модель имеет 4 выхода, и я выбираю один из этих выходов какдействие для среды.
В качестве быстрого теста я argmax на выходе нормального слоя распределения, а затем один раз нагреть выбранное действие для backprop.
env_action = np.argmax(action)
action = np.zeros(ppo.a_dim) # turn action into one-hot representation
action[env_action] = 1
Itработает довольно хорошо, но, очевидно, просто выполнение argmax заставляет агента вести себя жадно и не исследовать.
Итак (и я понимаю, что это очень глупо) я мог бы сделать это:
nd_actions = self.sess.run([self.sample_op], {self.state: state})
rescale_nd = scale(nd_actions, 0, 1)
probs = tf.nn.softmax(rebase_nd)
action = np.random.choice(4, p=probs.numpy()[0])
Есть ли что-то по сути неправильно в этом?Я знаю, что было бы лучше, очевидно, изменить выходной уровень сети на softmax, но, к сожалению, для этого требуется довольно большая перезапись кода, так что в качестве доказательства концепции я хотел бы проверить, работает ли это.
l1 = tf.layers.dense(self.state, 400, tf.nn.relu, trainable=trainable,
kernel_regularizer=w_reg, name="pi_l1")
l2 = tf.layers.dense(l1, 400, tf.nn.relu, trainable=trainable, kernel_regularizer=w_reg, name="pi_l2")
mu = tf.layers.dense(l2, self.a_dim, tf.nn.tanh, trainable=trainable,
kernel_regularizer=w_reg, name="pi_mu_out")
log_sigma = tf.get_variable(name="pi_log_sigma_out", shape=self.a_dim, trainable=trainable,
initializer=tf.zeros_initializer(), regularizer=w_reg)
norm_dist = tf.distributions.Normal(loc=mu * self.a_bound, scale=tf.exp(log_sigma))