«Подготовка» в контексте обучения последовательности в RNN - это процесс вычисления вероятности получения выходной последовательности, обусловленной входной последовательностью, или p(y|x). Сеть используется для моделирования этого условного отображения вероятности.
Техника для ускорения обучения в последовательности к обучению последовательности известна как принуждение учителя , где скрытые состояния нейронов в соседних временных шагах отделены (см. Изображение). Метка истинности земли y (t-1) вместе с элементом входной последовательности x (t-1) используются в качестве входных данных для нейрона в последующем временном шаге. Принудительное принуждение устраняет необходимость обратного распространения через время и распараллеливает обучение, используя меньше вычислительных ресурсов. К сожалению, некоторые эмпирические результаты показывают, что RNN, в которых используется принуждение учителя, менее устойчивы к ошибкам обобщения по сравнению с «ванильными» RNN.
Редактировать: Изображение также включает в себя условное распределение вероятностей, которое аппроксимирует учитель в последовательности RNN последовательности.