Манхэттен LSTM не учится. Всегда один и тот же прогноз, почему? - PullRequest
Новая
       29

Манхэттен LSTM не учится. Всегда один и тот же прогноз, почему?

0 голосов
/ 05 февраля 2020

Я пытаюсь реализовать модель, которая измеряет сходство между 2 абзацами. Обучение без присмотра, поэтому я создал пустые ярлыки и пустую функцию потери. У меня есть около 5000 образцов без этикеток. Абзацы маркированы и дополнены постами.

Когда я впервые запустил код, он заработал. В течение 7 эпох потери уменьшились. Теперь, когда я запускаю его снова, независимо от того, сколько эпох, потери не меняются (всегда 0.9988). И все прогнозы либо 1, либо 0,9999. В чем может быть причина? Пожалуйста, помогите.

также использовал Adadelta с клип-нормой 1,25. Это тоже не помогло. 


def dummy_loss(y_true, y_pred): return y_pred

def exponent_neg_manhattan_distance(left, right):
  return K.exp(-K.sum(K.abs(left-right), axis=1, keepdims=True))

embedding_layer = Embedding( max_num_word_text+1,300, weights = [embedding_matrix], input_length=pad_max_text, trainable = False)

left_input = Input(shape=(pad_max_text,))
right_input = Input(shape=(pad_max_text,))

encoded_left = embedding_layer(left_input)
encoded_right = embedding_layer(right_input)

shared_lstm = CuDNNLSTM(256)

left_output = shared_lstm(encoded_left)
right_output = shared_lstm(encoded_right)

malstm_distance = Lambda(function=lambda x: exponent_neg_manhattan_distance(x[0], x[1]),output_shape=lambda x: (x[0][0], 1))([left_output, right_output])


model = Model(inputs=[left_input, right_input], outputs=[malstm_distance])
model.compile(loss='mean_squared_error', optimizer='adam')


Epoch 1/10
3419/3419 [==============================] - 15s 4ms/step - loss: 0.9988
Epoch 2/10
3419/3419 [==============================] - 14s 4ms/step - loss: 0.9988
Epoch 3/10
3419/3419 [==============================] - 14s 4ms/step - loss: 0.9988
Epoch 4/10
3419/3419 [==============================] - 14s 4ms/step - loss: 0.9988
Epoch 5/10
3419/3419 [==============================] - 14s 4ms/step - loss: 0.9988
Epoch 6/10
3419/3419 [==============================] - 14s 4ms/step - loss: 0.9988
Epoch 7/10
3419/3419 [==============================] - 14s 4ms/step - loss: 0.9988
Epoch 8/10
3419/3419 [==============================] - 14s 4ms/step - loss: 0.9988
Epoch 9/10
3419/3419 [==============================] - 14s 4ms/step - loss: 0.9988
Epoch 10/10
3419/3419 [==============================] - 14s 4ms/step - loss: 0.9988
<keras.callbacks.History at 0x7f31c022f828>
...