Модель не учится - PullRequest
Новая
       35

Модель не учится

0 голосов
/ 20 февраля 2020

Я использовал эту библиотеку спортзала, чтобы попытаться научить эту модель, но я не думаю, что она учится на опыте. Что-то не так, но я не могу понять это.

Я играл с DISCOUNT, LEARNING_RATE, DISCRETE_OS_SIZE и все еще ничего, мне нужно создать нейронную сеть для этого примера? Или я могу просто использовать формулу для получения значений q? 


import gym
import numpy as np

LEARNING_RATE = 0.1 
DISCOUNT = 0.95
EPISODES = 25000



env = gym.make("MountainCar-v0")




DISCRETE_OS_SIZE = [20, 20]
discrete_os_win_size = (env.observation_space.high - env.observation_space.low)/DISCRETE_OS_SIZE
q_tables = np.random.uniform(low = -2, high = 0, size = (DISCRETE_OS_SIZE + [env.action_space.n]))

def get_discrete_state(state):
    discrete_state = (state - env.observation_space.low)/DISCRETE_OS_SIZE
    return tuple(discrete_state.astype(np.int))  # we use this tuple to look up the 3 Q values for the available actions in the q-table

# Exploration settings
epsilon = 1  # not a constant, qoing to be decayed
START_EPSILON_DECAYING = 1
END_EPSILON_DECAYING = EPISODES//2
epsilon_decay_value = epsilon/(END_EPSILON_DECAYING - START_EPSILON_DECAYING)


SHOW_EVERY = 1000
done = False

for episode in range(EPISODES):
    discrete_state = get_discrete_state(env.reset())
    done = False

    if episode % SHOW_EVERY == 0:
        render = True
        print(episode)
    else:
        render = False


    while not done:
        if np.random.random() > epsilon:
            # Get action from Q table
            action = np.argmax(q_tables[discrete_state])
        else:
            # Get random action
            action = np.random.randint(0, env.action_space.n)

        new_state, reward, done, _ = env.step(action)#state = position and velocit
        new_discrete_state = get_discrete_state(new_state) 

        if render:
            env.render()

        if not done:
            max_future_q = np.max(q_tables[new_discrete_state]) # Maximum possible Q value in next step (for new state)
            current_q = q_tables[discrete_state + (action,)]# Current Q value (for current state and performed action)
            new_q = (1 - LEARNING_RATE) * current_q + LEARNING_RATE * (reward + DISCOUNT * max_future_q)# And here's our equation for a new Q value for current state and action
            q_tables[discrete_state + (action,)] = new_q# Update Q table with new Q value
              # Simulation ended (for any reson) - if goal position is achived - update Q value with reward directly
        elif new_state[0] >= env.goal_position:
            q_tables[discrete_state + (action,)] = 0
            print(episode)
        discrete_state = new_discrete_state

        # Decaying is being done every episode if episode number is within decaying range
    if END_EPSILON_DECAYING >= episode >= START_EPSILON_DECAYING:
        epsilon -= epsilon_decay_value



env.close()

1 Ответ

0 голосов
/ 23 февраля 2020

Я нашел, в чем проблема.

В этой строке discrete_state = (state - env.observation_space.low)/DISCRETE_OS_SIZE Я делю (текущее состояние - env.observation_space.low) на DISCRETE_OS_SIZE. Я пришел к выводу, что лучше делить на discrete_os_win_size, что решило мою проблему.

...