Я пытаюсь выполнить перевод с английского на испанский, используя модель перевода на уровне слов seq2seq, используя this
Я использовал набор данных, который содержит 10000 английских и испанских предложений, разделенных табуляцией.
Вот мой код модели перевода языка keras, который я использую
from keras.layers import Input, LSTM, Embedding, Dense
from keras.models import Model
from keras.utils import plot_model
import keras
from keras import optimizers
encoder_inputs = Input(shape=(None, num_encoder_tokens))
encoder = LSTM(50, return_state=True)
encoder_outputs, state_h, state_c = encoder(encoder_inputs)
# We discard `encoder_outputs` and only keep the states.
encoder_states = [state_h, state_c]
# Set up the decoder, using `encoder_states` as initial state.
decoder_inputs = Input(shape=(None,num_decoder_tokens))
decoder_lstm = LSTM(50, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_inputs,
initial_state=encoder_states)
decoder_dense = Dense(num_decoder_tokens, activation='softmax')
decoder_outputs = decoder_dense(decoder_outputs)
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)
sgd = optimizers.SGD(lr=0.4, decay=0.99)
model.compile(optimizer=sgd, loss='categorical_crossentropy', metrics=['acc'])
mc = keras.callbacks.ModelCheckpoint('weights{epoch:08d}.h5',
save_weights_only=True, period=10)
model.fit([encoder_input_data, decoder_input_data], decoder_target_data,
batch_size=64, shuffle=True,
epochs=5000,initial_epoch = 894,
validation_split=0.2, verbose = 1, callbacks=[mc])
Я выполнил свой кодовый код до 900 эпох, но я получаю одинаковую точность и потери для каждой эпохи.
Любая помощь будет признательна.
Спасибо