почему мы обращаем ввод при подаче в модели seq2seq в тензорном потоке (tf.reverse (input, [- 1]))

Question

Почему мы инвертируем ввод при подаче в модели seq2seq в тензорном потоке (tf.reverse(inputs,[-1]))

training_predictions,test_predictions=seq2seq_model(tf.reverse(inputs,[-1]),
                                                    targets,
                                                    keep_prob,
                                                    batch_size,
                                                    seq_length,
                                                    len(answerswords2int),
                                                    len(questionswords2int),
                                                    encoding_embedding_size,
                                                    decoding_embedding_size,
                                                    rnn_size,
                                                    num_layers,
                                                    questionswords2int)

Answer 1

Насколько мне известно, обратная связь возникла из статьи Последовательность к обучению последовательности с нейронными сетями

Идея возникла для машинного перевода (я не уверен, как эторазыгрывается в других доменах, например, чат-ботов).Подумайте о следующем сценарии (заимствовано из оригинальной статьи).Вы хотите перевести,

A B C -> alpha beta gamma delta

В этой настройке мы должны пройти полную исходную последовательность (ABC), прежде чем начинать предсказывать alpha, где переводчик можетк тому времени забыли о A.Но когда вы делаете это как,

C B A -> alpha beta gamma delta

У вас есть сильная линия связи от A до alpha, где A "вероятно""относится к alpha в переводе.

Примечание : Это полностью зависит от вашей задачи перевода.Если целевой язык написан в обратном порядке исходного языка (например, подумайте о переводе с субъект-глагол-объект на объект-глагол-субъектный язык), я думаю, что лучше сохранить исходный порядок.