Keras Tensorboard для обучения усилению DQN - PullRequest
Новая
       17

Keras Tensorboard для обучения усилению DQN

0 голосов
/ 09 января 2019

Я использую keras для построения DQN и обучения его классическому алгоритму DQN с памятью воспроизведения опыта. Так как в dqn вам нужно многократно вызывать model.fit, то есть каждый раз, когда вы производите выборку пакетных данных из памяти воспроизведения, новый файл журнала событий генерируется при каждой подгонке при использовании keras 'model.fit( .... callbacks=TensorBoard(...)). Он создает 2 проблемы, сначала он генерирует слишком сложные файлы журнала событий и сильно замедляет обучение, а в Tensorboard вы не можете увидеть какую-либо тенденцию, например, постепенное уменьшение потерь.

Что представляет собой метод визуализации учебного процесса, например, увидеть изменение градиентов и активаций в обучении с подкреплением, особенно в реализации DQN?

1 Ответ

0 голосов
/ 31 мая 2019

Вы можете пройти через TensorFlow: 

# Create FileWriter
file_writer = tf.summary.FileWriter(log_dir, tf.get_default_graph())
history = model.fit(state, Q_values, epochs=1, verbose=0)
loss = history.history['loss'][0]

# Add values to Tensorboard
training_summary = tf.Summary(value=[tf.Summary.Value(tag="loss", simple_value=loss),
                                     tf.Summary.Value(tag="score", simple_value=score)])
file_writer.add_summary(training_summary, global_step=total_frames)
...