Какая модель внимания используется в tf js -examples / date-Conversion-Внимание?

Question

Я смотрел на примеры tf js и пытался узнать о моделях seq2seq. В ходе этого процесса я наткнулся на пример дата-конверсии-внимания .

Это отличный пример, но какой механизм внимания используется в этом примере? В файле Readme нет информации. Может кто-нибудь указать мне на бумагу, которая описывает внимание, которое здесь используется?

Ссылка на часть внимания: https://github.com/tensorflow/tfjs-examples/blob/908ee32750ba750a14d15caeb53115e2d3dda2b3/date-conversion-attention/model.js#L102 -L119

Answer 1

Мне кажется, я нашел ответ. Модель внимания, используемая в date-conversion-attention, использует оценку выравнивания точечного произведения, и она описана в Effective Approaches to Attention-based Neural Machine Translation. Ссылка: https://arxiv.org/pdf/1508.04025.pdf