В-обучение, как влияет количество тестовых эпизодов на конвергенцию? - PullRequest
Новая
       7

В-обучение, как влияет количество тестовых эпизодов на конвергенцию?

0 голосов
/ 16 января 2019

в следующем коде, который является кодом для решения FrozenLake 4x4 с помощью Q-learning. в обучающей части, почему мы играем 20 эпизодов тестовой среды вместо одного в каждом цикле? Я пробовал оба числа итераций:

при воспроизведении 20 итераций тестовой среды агент сходится более чем в 16000 попыток.

при воспроизведении 1 итерации тестовой среды агент сходится менее чем за 1000 попыток. 

import gym
import collections
from tensorboardX import SummaryWriter

ENV_NAME = "FrozenLake-v0"
GAMMA = 0.9
ALPHA = 0.2
TEST_EPISODES = 20


class Agent:
    def __init__(self):
        self.env = gym.make(ENV_NAME)
        self.state = self.env.reset()
        self.values = collections.defaultdict(float)

    def sample_env(self):
        action = self.env.action_space.sample()
        old_state = self.state
        new_state, reward, is_done, _ = self.env.step(action)
        self.state = self.env.reset() if is_done else new_state
        return (old_state, action, reward, new_state)

    def best_value_and_action(self, state):
        best_value, best_action = None, None
        for action in range(self.env.action_space.n):
            action_value = self.values[(state, action)]
            if best_value is None or best_value < action_value:
                best_value = action_value
                best_action = action
        return best_value, best_action

    def value_update(self, s, a, r, next_s):
        best_v, _ = self.best_value_and_action(next_s)
        new_val = r + GAMMA * best_v
        old_val = self.values[(s, a)]
        self.values[(s, a)] = old_val * (1-ALPHA) + new_val * ALPHA

    def play_episode(self, env):
        total_reward = 0.0
        state = env.reset()
        while True:
            _, action = self.best_value_and_action(state)
            new_state, reward, is_done, _ = env.step(action)
            total_reward += reward
            if is_done:
                break
            state = new_state
        return total_reward


if __name__ == "__main__":
    test_env = gym.make(ENV_NAME)
    agent = Agent()
    writer = SummaryWriter(comment="-q-learning")

    iter_no = 0
    best_reward = 0.0
    while True:
        iter_no += 1
        s, a, r, next_s = agent.sample_env()
        agent.value_update(s, a, r, next_s)

        reward = 0.0
        for _ in range(TEST_EPISODES):
            reward += agent.play_episode(test_env)
        reward /= TEST_EPISODES
        writer.add_scalar("reward", reward, iter_no)
        if reward > best_reward:
            print("Best reward updated %.3f -> %.3f" % (best_reward, reward))
            best_reward = reward
        if reward > 0.80:
            print("Solved in %d iterations!" % iter_no)
            break
    writer.close()

1 Ответ

0 голосов
/ 18 января 2019

В этом примере TEST_EPISODES используется для изменения критериев решения. При TEST_EPISODES = 1 игра считается решенной, как только последняя игра набирает> 0,80, а при TEST_EPISODES = 20 средний балл за последние 20 раундов должен составлять> 0,80, чтобы считать игру решенной.

Так как в этой игре есть стохастические действия, то есть вы не получаете тот же результат за то, что каждый раз выполняете одно и то же действие в одном и том же состоянии, чем выше вы набираете TEST_EPISODES, тем более надежным будет решение , С TEST_EPISODES = 1 этот сценарий будет считать игру решенной, если он просто случайно найдет цель с первой попытки, но вероятность сделать это 20 раз подряд с плохой моделью намного меньше.

Среднее значение для большего числа эпизодов часто является лучшим показателем для такого рода проблем, чем скорость достижения цели в первый раз. Представьте, что если бы вам приходилось работать в этой среде, и ваша жизнь зависела от безопасного достижения цели, вы, вероятно, хотели бы, чтобы она училась до тех пор, пока пороговое значение не станет намного ближе к 1.

...