В настоящее время я справляюсь с проблемой Deep RL с помощью 5 пространств состояний (s1 (t), s2 (t), s3 (t), s4 (t), s5 (t)), которые полностью отличаются друг от друга (без корреляции) , Все мои значения являются числовыми. Сегодня я использовал один полностью подключенный NN из 3 слоев по 100 единиц (ReLU), но я не полностью удовлетворен своим результатом (хороший, но не превосходящий базовый уровень). Я думаю, что мне нужно добавить некоторый шаблон, добавив в свою временную структуру состояния s1 (как для игр atari). Поэтому я хотел бы добавить s1 (t-3), s1 (t-2), s1 (t-1) + s1 (t) + другие функции (от s2 до s5). Я уже сделал это, сохранив свой полностью подключенный NN, но результат наихудший.
Мой вопрос: как вы думаете, добавление CNN представляет интерес для такого рода проблем? (Я никогда не управлял CNN прежде). Если да, мне нужно использовать свой CNN только для s1 (t-3), s1 (t-2), s1 (t-1), s1 (t) и добавить s2 (t), s3 (t), s4 ( t), s5 (t) только в моем полностью подключенном NN впоследствии (если да, я действительно не знаю, как это сделать, потому что мой CNN даст выходной сигнал, но что представляет этот выход?) или я могу поместить все свои функции в CNN? Это, очевидно, глупый вопрос, но у меня нет интуиции с CNN.
Что касается этой проблемы, может быть, другое решение лучше?
Лучшее,