Seq to Seq модель обучения

Question

У меня есть пара вопросов:

1. В модели seq to seq с переменной длиной ввода, если вы не используете маску внимания, RNN может в итоге вычислить значение скрытого состояния для дополненногоэлемент? Таким образом, это означает, что маска внимания обязательна, иначе мой вывод будет неправильным?
2. Как быть с метками различной длины, скажем, я добавил для передачи в пакетном режиме. Теперь я не хочу, чтобы мои мягкие элементы влияли на мою потерю, так как я могу игнорировать это?

Answer 1

1. Нет, не обязательно. RNN берет временные ряды и каждый раз вычисляет скрытое состояние. Вы можете заставить свой RNN останавливаться и не вычислять значение скрытого состояния для дополняемых элементов.

Для этого можно использовать Динамический RNN . Читайте об этом здесь: Что такое динамический RNN в TensorFlow?