Seq2seq кодировщик, модель декодера стека LSTM - PullRequest
Новая
       29

Seq2seq кодировщик, модель декодера стека LSTM

0 голосов
/ 19 сентября 2019

Я попробовал этот пример keras seq2seq, модель кодировщика-декодера для языкового перевода.Определение модели: 

# Define an input sequence and process it.
encoder_inputs = Input(shape=(None, num_encoder_tokens))
encoder = CuDNNLSTM(latent_dim, return_state=True)
encoder_outputs, state_h, state_c = encoder(encoder_inputs)
# We discard `encoder_outputs` and only keep the states.
encoder_states = [state_h, state_c]

# Set up the decoder, using `encoder_states` as initial state.
decoder_inputs = Input(shape=(None, num_decoder_tokens))
# We set up our decoder to return full output sequences,
# and to return internal states as well. We don't use the
# return states in the training model, but we will use them in inference.
decoder_lstm = CuDNNLSTM(latent_dim, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_inputs,
                                     initial_state=encoder_states)
decoder_dense = Dense(num_decoder_tokens, activation='softmax')
decoder_outputs = decoder_dense(decoder_outputs)

# Define the model that will turn
# `encoder_input_data` & `decoder_input_data` into `decoder_target_data`
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)

Модель успешно выучила англо-русский перевод уровня символов в некоторой степени.Но, как видно, кодер и декодер состоит только из LSTM layer.С точки зрения здравого смысла, объединение множества слоев LSTM даст лучшие результаты.

Это хорошая идея для укладки слоев LSTM, если да, то как в этом случае?

...