Keras - добавить механизм внимания к модели LSTM - PullRequest
Новая
       39

Keras - добавить механизм внимания к модели LSTM

0 голосов
/ 05 ноября 2018

Со следующим кодом: 

model = Sequential()

num_features = data.shape[2]
num_samples = data.shape[1]

model.add(
    LSTM(16, batch_input_shape=(None, num_samples, num_features), return_sequences=True, activation='tanh'))
model.add(PReLU())
model.add(Dropout(0.5))
model.add(LSTM(8, return_sequences=True, activation='tanh'))
model.add(Dropout(0.1))
model.add(PReLU())
model.add(Flatten())
model.add(Dense(1, activation='sigmoid'))

Я пытаюсь понять, как я могу добавить механизм внимания перед первым слоем LSTM. Я нашел следующий GitHub: механизм keras-Внимание-от Филиппа Реми , но не мог понять, как именно использовать его с моим кодом.

Я бы хотел визуализировать механизм внимания и посмотреть, на какие особенности ориентирована модель.

Буду признателен за любую помощь, особенно модификацию кода. Спасибо:)

1 Ответ

0 голосов
/ 05 ноября 2018

В этом разделе вы можете найти пример использования LSTM с механизмом активации в Keras

https://gist.github.com/mbollmann/ccc735366221e4dba9f89d2aab86da1e

И в следующем ответе на SO:

Как добавить механизм внимания в керас?

А для визуализации ваших активаций вы можете использовать следующий репозиторий https://github.com/philipperemy/keras-activations

Надеюсь, это помогло :)

...