Я думаю, это потому, что вышеприведенная модель больше подходит для положительных / отрицательных предложений, а не для классификации суммарных / неполных предложений.
Это верно.Вышеуказанная модель используется для двоичной классификации, а не для суммирования текста.Если вы заметили, вывод (Dense(1, activation='sigmoid')) дает вам только оценку от 0 до 1, в то время как при суммировании текста нам нужна модель, которая генерирует последовательность токенов.
Что мне делать?
Доминирующей идеей решения этой проблемы являются модели кодер-декодер (также известные как seq2seq).Есть хороший учебник по репозиторию Keras, который используется для машинного перевода, но его довольно легко адаптировать для суммирования текста.
Основная часть кода:
from keras.models import Model
from keras.layers import Input, LSTM, Dense
# Define an input sequence and process it.
encoder_inputs = Input(shape=(None, num_encoder_tokens))
encoder = LSTM(latent_dim, return_state=True)
encoder_outputs, state_h, state_c = encoder(encoder_inputs)
# We discard `encoder_outputs` and only keep the states.
encoder_states = [state_h, state_c]
# Set up the decoder, using `encoder_states` as initial state.
decoder_inputs = Input(shape=(None, num_decoder_tokens))
# We set up our decoder to return full output sequences,
# and to return internal states as well. We don't use the
# return states in the training model, but we will use them in inference.
decoder_lstm = LSTM(latent_dim, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_inputs,
initial_state=encoder_states)
decoder_dense = Dense(num_decoder_tokens, activation='softmax')
decoder_outputs = decoder_dense(decoder_outputs)
# Define the model that will turn
# `encoder_input_data` & `decoder_input_data` into `decoder_target_data`
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)
# Run training
model.compile(optimizer='rmsprop', loss='categorical_crossentropy')
model.fit([encoder_input_data, decoder_input_data], decoder_target_data,
batch_size=batch_size,
epochs=epochs,
validation_split=0.2)
Исходя из вышеприведенной реализации, необходимо передать encoder_input_data, decoder_input_data и decoder_target_data в model.fit(), которые соответственно являются входным текстом и суммируют версию текста.
Обратите внимание, что decoder_input_data и decoder_target_data - это одно и то же, за исключением того, что decoder_target_data на один токен опережает decoder_input_data.
Это дает очень низкую точность ~0.2
Я думаю, это потому, что вышеприведенная модель больше подходит для положительных / отрицательных предложений, а не для классификации суммарных / неполных предложений.
Низкая точность, вызванная различными причинамив том числе небольшой тренировочный размер, переоснащение, подгонка и т. д.