Понимание параметров TensorFlow 2.x Уровень внимания - PullRequest
Новая
       5

Понимание параметров TensorFlow 2.x Уровень внимания

0 голосов
/ 03 апреля 2020

Я читаю документацию по tf.keras.layers.Attention на веб-сайте TensorFlow. В документации сказано, что аргумент вызова принимает Тензор запросов, Значение Тензор . У меня вопрос, что это за тензор.

  • Тензор запроса = выход lstm
  • Значение тензора = скрытое состояние lstm

Пожалуйста, исправьте меня, если я ошибаюсь.

Спасибо

1 Ответ

0 голосов
/ 09 апреля 2020

Value Tensor -> Это представление энкодера каждого временного шага. Query Tensor -> Это представление декодера на текущем временном шаге, если вы вычисляете время пошагово. Если вы рассчитываете внимание для каждого временного шага, это тензор, представляющий каждый временной шаг вывода декодера.

...