Керас слой внимания - PullRequest
Новая
       10

Керас слой внимания

0 голосов
/ 28 октября 2019

Я хочу использовать последовательность весов / баллов внимания из слоя внимания здесь https://www.kaggle.com/qqgeogor/keras-lstm-attention-glove840b-lb-0-043

Так что я мог бы использовать их для дополнительного LSTM вроде: 

comment_input = Input(shape=(MAX_SEQUENCE_LENGTH,), dtype='int32')
embedded_sequences= embedding_layer(comment_input)
x = lstm_layer(embedded_sequences)
x = Dropout(rate_drop_dense)(x)
x= Attention(MAX_SEQUENCE_LENGTH)(x)
x = lstm_layer(x)
merged = Dense(num_dense, activation=act)(x)
merged = Dropout(rate_drop_dense)(merged)
merged = BatchNormalization()(merged)
preds = Dense(6, activation='sigmoid')(merged)

Интереснокак я могу получить только веса внимания последовательности, а не один вектор, чтобы я мог использовать LSTM после уровня внимания также?

...