Перейти на рекуррентные нейронные сети или LSTM (Долгосрочные воспоминания). Проще говоря, нейронная сеть с прямой связью просто производит вывод для заданного ввода на основе способа, которым она выяснила связь между входом и выходом во время обучения, но она не имеет представления о том, каким было предыдущее состояние (выход), основная идея это рекурсивная подача вывода обратно на вход, то есть мы используем предыдущее состояние вывода вместе с текущим входом в качестве входа в нейронную сеть в виде петли обратной связи , так что выход нейронной сети не только зависит от ввода, но также и от предыдущего вывода.
LSTM широко используются для генерации поэзии, генерации кода и т. Д., Ваша проблема относится к той же области.
Обратитесь по этой ссылке для более подробной информации: LSTM