Низкая точность при обучении реферированию текста - PullRequest
Новая
       69

Низкая точность при обучении реферированию текста

0 голосов
/ 26 мая 2020

Я пытаюсь реализовать модель резюмирования извлекающего текста. Я использую keras и tensorflow. Я использовал вложения предложений Берта, и выходные данные вложений подаются на уровень LSTM, а затем на плотный слой с функцией активации сигмоида. Я использовал оптимизатор Адама и двоичную кроссентропию в качестве функции потерь.

Обучающие метки y представляют собой 2d-массив, т.е. [array_of_documents [array_of_biniary_labels_foreach_sentence]] получение точности обучения около 0,22.

Как я могу повысить точность для модели? 

sentence_embedding = tf.keras.layers.Input(shape=(185,768))
LSTM_layer = tf.keras.layers.LSTM(185)
Dense = tf.keras.layers.Dense(185, activation='sigmoid')

doc_rep = LSTM_layer(sentence_embedding)
f_output = Dense(doc_rep)

model = tf.keras.Model(sentence_embedding, f_output, name="model")
model.compile(
    loss='binary_crossentropy',
    optimizer='adam',
    metrics=["accuracy"],
)

history = model.fit(x_train_embeddings, ytrain_label, epochs=100, verbose=2)
...