В большинстве реализаций механизма Внимание в сетях seq2seq наборы данных представляют собой словари, в которых можно использовать методы встраивания, чтобы хранить их как векторы чисел.Но что, если последовательности включают в себя значащие числа сами по себе, и нам не нужно встраивать набор данных?
Практические примеры можно найти в задачах комбинаторной оптимизации, таких как задача коммивояжера (TSP), в которой последовательностиномера узлов назначения.Или в прогнозировании временных рядов.
Можем ли мы пропустить этап встраивания в этих случаях?Или встраивание присуще механизму внимания.
Во-вторых, если ответ положительный, в seq2seq реализациях в программе tenorflow требуется инициализация помощника следующим образом:
train_helper = tf.contrib.seq2seq.TrainingHelper(inputs,sequence_length)
decoder = tf.contrib.seq2seq.BasicDecoder(cell=out_cell, helper=train_helper,initial_state=out_cell.zero_state(dtype=tf.float32, batch_size=batch_size))
каков будет подход к использованию помощникакогда мы не используем структуру встраивания для нашего набора данных.