Можно ли применить механизм внимания к таким структурам, как нейронные сети с прямой связью?

Question

Недавно я изучил сеть декодера и кодировщика и механизм внимания и обнаружил, что многие статьи и блоги реализуют механизм внимания в сети RNN.

Мне интересно, могут ли другие сети включать механизмы внимания. Например,кодер - это нейронная сеть с прямой связью, а декодер - RNN.Могут ли нейронные сети прямой связи без временных рядов использовать механизмы внимания?Если вы можете, пожалуйста, дайте мне несколько предложений. Спасибо заранее!

Answer 1

В общем, сети прямой связи рассматривают функции как независимые;сверточные сети фокусируются на относительном местоположении и близости;RNN и LSTM имеют ограничения памяти и имеют тенденцию читать в одном направлении.

В отличие от них, внимание и преобразователь могут захватывать контекст о слове из отдаленных частей предложения, как раньше, так и позже, чем слово появляется, чтобы закодировать информацию, чтобы помочь нам понять слово и егороль в системе, называемая предложением.

Здесь есть хорошая модель для прямой связи с механизмом внимания:

https://arxiv.org/pdf/1512.08756.pdf

надеюсь быть полезным.

Answer 2

Да, можно использовать механизмы внимания / самоконтроля / многоголовочного внимания в других сетях прямой связи.Также возможно использовать механизмы внимания с архитектурами на основе CNN, то есть какой части изображений следует уделять больше внимания при прогнозировании другой части изображения.Идея почты, стоящая за вниманием, заключается в том, чтобы придать вес всем остальным входным данным, предсказывая конкретный выходной сигнал или то, как мы соотносим слова в предложении для задачи НЛП.Вы можете прочитать об действительно известной архитектуре Transformer, которая основана на внимании к себе и в которой нет RNN.Чтобы понять суть механизма внимания другого типа, вы можете прочитать этот блог .