Как работает непрерывный контроль ЛР через политику Гаусса? - PullRequest
Новая
       1

Как работает непрерывный контроль ЛР через политику Гаусса?

0 голосов
/ 07 февраля 2019

Я реализую алгоритм Soft-Actor-Critic, но я не могу понять, как работает стохастическая политика.Я искал в Интернете, но не нашел ни одного интересного сайта, который бы хорошо объяснял следующую реализацию.Единственное, что я понял, это то, что в случае стохастической политики мы моделируем ее как гауссову и параметризуем среднее значение и log std (я думаю, что std является стандартным отклонением), но, например, зачем нам нужен log std ине просто стандартный? 

class ActorNetwork(object):
    def __init__(self, act_dim, name):
        self.act_dim = act_dim
        self.name = name

    def step(self, obs, log_std_min=-20, log_std_max=2): 
        with tf.variable_scope(self.name, reuse=tf.AUTO_REUSE):

            h1 = tf.layers.dense(obs, 256, tf.nn.relu)
            h2 = tf.layers.dense(h1, 256, tf.nn.relu) 
            mu = tf.layers.dense(h2, self.act_dim, None)
            log_std = tf.layers.dense(h2, self.act_dim, tf.tanh)
            '''
            at the start we could have extremely large values for the log_stds, which could result in some actions 
            being either entirely deterministic or too random. To protect against that, 
            we'll constrain the output range of the log_stds, to be within [LOG_STD_MIN, LOG_STD_MAX]
            ''' 
            log_std = log_std_min + 0.5 * (log_std_max - log_std_min) * (log_std + 1)

            std = tf.exp(log_std)
            pi = mu + tf.random_normal(tf.shape(mu)) * std 

            #gaussian likelihood
            pre_sum = -0.5 * (((pi - mu) / (tf.exp(log_std) + EPS)) ** 2 + 2 * log_std + np.log(2 * np.pi)) 
            logp_pi = tf.reduce_sum(pre_sum, axis=1) 

            mu = tf.tanh(mu)
            pi = tf.tanh(pi)

            clip_pi = 1 - tf.square(pi) #pi^2
            clip_up = tf.cast(clip_pi > 1, tf.float32)
            clip_low = tf.cast(clip_pi < 0, tf.float32)
            clip_pi = clip_pi + tf.stop_gradient((1 - clip_pi) * clip_up + (0 - clip_pi) * clip_low)

            logp_pi -= tf.reduce_sum(tf.log(clip_pi + 1e-6), axis=1) 

        return mu, pi, logp_pi

    def evaluate(self, obs): #Choose action
        mu, pi, logp_pi = self.step(obs)
        action_scale = 2.0 # env.action_space.high[0]

        mu *= action_scale
        pi *= action_scale
        return mu, pi, logp_pi

1 Ответ

0 голосов
/ 10 февраля 2019

Вы правы.В гауссовых политиках вы отображаете из наблюдения (используя сеть политик) среднее значение mu и логарифм стандартного отклонения log_std действий.Это потому, что у вас есть пространство для продолжения действий.После того, как вы обучили свою модель назначать mu и log_std в пространстве действий, вы вычисляете логарифмическую вероятность принятия действий, отобранных по pi.

В политиках Гаусса log_std предпочтительнее, чем std только потому, что log_std принимает любые значения в (-inf, + inf), тогда как std ограничен неотрицательными значениями.Освобождение от этого ограничения неотрицательности облегчает обучение, а также вы не потеряете информацию при этом преобразовании.

...