Модель Q-обучения не улучшается - PullRequest
Новая
       34

Модель Q-обучения не улучшается

0 голосов
/ 15 февраля 2019

Я пытаюсь решить проблему с карполом в спортзале openAI.По Q обучения.Я думаю, что я неправильно понял, как работает Q-learning, поскольку моя модель не улучшается.

Я использую словарь в качестве таблицы Q.Так что я "хэш" (превращаясь в строку) каждого наблюдения.И используя это в качестве ключа в моей таблице.

Каждый ключ (наблюдение) в моей таблице сопоставлен с другим словарем.Где я храню каждое движение, которое было взято в этом состоянии, и соответствующее ему значение Q.

С учетом сказанного, запись в моей таблице может выглядеть так: 

'[''0.102'', ''1.021'', ''-0.133'', ''-1.574'']':
  0: 0.1

Итак, в состоянии(наблюдение): '[''0.102'', ''1.021'', ''-0.133'', ''-1.574'']' действие: 0 записано со значением q: 0.01.

Моя логика здесь неверна?Я действительно не могу понять, если я ошибся с моей реализацией. 

import gym
import random
import numpy as np

ENV = 'CartPole-v0'

env = gym.make(ENV)

class Qtable:
  def __init__(self):
    self.table = {}

  def update_table(self, obs, action, value):
    obs_hash = self.hash_obs(obs)

    # Update table with new observation
    if not obs_hash in self.table:
      self.table[obs_hash] = {}
      self.table[obs_hash][action] = value
    else:
      # Check if action has been recorded
      # If such, check if this value was better
      # If not, record new action for this obs
      if action in self.table[obs_hash]:
        if value > self.table[obs_hash][action]:
          self.table[obs_hash][action] = value
      else:
        self.table[obs_hash][action] = value

  def get_prev_value(self, obs, action):
    obs_hash = self.hash_obs(obs)
    if obs_hash in self.table:
      if action in self.table[obs_hash]:
        return self.table[obs_hash][action]
    return 0

  def get_max_value(self, obs):
    obs_hash = self.hash_obs(obs)
    if obs_hash in self.table:
      key = max(self.table[obs_hash])
      return self.table[obs_hash][key]
    return 0

  def has_action(self, obs):
    obs_hash = self.hash_obs(obs)
    if obs_hash in self.table:
      if len(self.table[obs_hash]) > 0:
        return True
    return False

  def get_best_action(self, obs):
    obs_hash = self.hash_obs(obs)
    if obs_hash in self.table:
      return max(self.table[obs_hash])

  # Makes a hashable entry of the observation
  def hash_obs(self, obs):
    return str(['{:.3f}'.format(i) for i in obs])

def play():

  q_table = Qtable()

  # Hyperparameters
  alpha   = 0.1
  gamma   = 0.6
  epsilon = 0.1
  episodes = 1000

  total = 0

  for i in range(episodes):

    done     = False
    prev_obs = env.reset()
    episode_reward = 0

    while not done:

      if random.uniform(0, 1) > epsilon and q_table.has_action(prev_obs):
        # Exploit learned values
        action = q_table.get_best_action(prev_obs)
      else:
        # Explore action space
        action = env.action_space.sample()

      # Render the environment
      #env.render()

      # Take a step
      obs, reward, done, info = env.step(action)

      if done:
        reward = -200

      episode_reward += reward

      old_value = q_table.get_prev_value(prev_obs, action)
      next_max  = q_table.get_max_value(obs)

      # Get the current sate value
      new_value = (1-alpha)*old_value + alpha*(reward + gamma*next_max)

      q_table.update_table(obs, action, new_value)

      prev_obs = obs

    total += episode_reward

  print("average", total/episodes)
  env.close()


play()

1 Ответ

0 голосов
/ 15 февраля 2019

Думаю, я понял это.Я неправильно понял эту часть new_value = (1-alpha)*old_value + alpha*(reward + gamma*next_max)

Здесь next_max - лучший ход следующего состояния.А не (как и должно быть) максимальное значение этого поддерева.

Поэтому реализация таблицы Q в виде хэш-карты, вероятно, не очень хорошая идея.

...