Я выполняю симуляцию полета с автопилотом, поэтому мне нужно создать DQN (Deep Q-Network) для управления автопилотом, но я не знаю оптимального количества состояний.
моделирование выполнено в единстве, и все окружение и физика тоже выполнены, DQN нужно будет только вывести (W, A, S, D) для управления самолетом, я нашел код, который управляет CARTPOLEкоторый теоретически должен уметь хорошо тренировать и управлять самолетом, единственная проблема в том, что я точно не знаю, являются ли выбранные мной состояния правильными или нет.
это код:
import os
import random
import gym
import numpy as np
from collections import deque
from keras.models import Sequential
from keras.layers import Dense
from keras.optimizers import Adam
class DQNAGENT:
def __init__(self,state_size,_action_size):
self.state_size = state_sizes
self.action_size = actions_sizes
self.memory = deque(maxlen=2000)
self.gamma = 0.95
self.epsilon = 1.00
self.epsilon_decay_rate = 0.995
self.epsilon_min = 0.01
self.learning_rate = 0.001
self.model = self.build_model()
def buildmodel(self):
model = Sequential()
model.add(Dense(24, input_dim=self.state_size, activation='relu'))
model.add(Dense(24, activation='relu'))
model.add(Dense(self.action_size, activation='linear'))
model.compile(loss='mse',optimizer=Adam(lr=self.learning_rate))
return model
def remember(self, state, action, reward, next_state, done):
self.memory.append((state, action, reward, next_state, done))
def act(self, state):
if np.random.rand() self.epsilon_min:
self.epsilon *= self.epsilon_decay_rate
def load(self, name):
self.model.load_weights(name)
def save(self, name):
self.model.save_weights(name)
def main():
#environemnet variables
state_sizes=0
actions_sizes=4
#training Variables
batch_size=32
n_episodeds=100
output_directory= 'model_output/autopilot'
if not os.path.exists(output_directory):
os.makedirs(output_directory)
agent = DQNAGENT(state_sizes,actions_sizes)
done = False
for e in range(n_episodeds):
state = #states of the game
for time in range(5000):
action = agent.act(state)
#next_state, reward, done, _ = ##env.step(action)
#put the next state from unity
reward = reward if not done else -10
agent.remember(state, action, reward, next_state, done)
state = next_state
if len(agent.memory) > batch_size:
agent.replay(batch_size)
, где класс агента - это агент, который будет обучаться, эти функции в порядке, но в Main размеры состояний установлены на ноль , потому что я нееще не знаю числа и эти три строки, которые я не могу преобразовать, чтобы иметь возможность работать в моем проекте
state = #states of the game
action = agent.act(state)
next_state, reward, done, _ = ##env.step(action)
исходный код имел следующие строки:
env = gym.make('CartPole-v1')
state_size = env.observation_space.shape[0]
state = env.reset()
next_state, reward, done, _ = env.step(action)
, потому что онполучает эти переменные из пакета Gym, но мне нужно ввести их вручную, моя среда будет состоять из скорости полета, положения самолета, положения в аэропорту и т. д. это то, что я думаю, напишу, так что если кто-то может помочь мне понять, как выt если это правильно или даже лучше, скажите мне, какие оптимальные состояния будут по-настоящему оценены.
ожидаемый результат примерно такой.
statesizes = 4
states= "how to write those states in this variable"