Попытка реализовать двунаправленную модель LSTM с встраиванием перчаток в Python с использованием керасов. Архитектура модели выглядит следующим образом:
Модель отлично работает, когда она запускается без какой-либо предварительной обработки входных данных. На следующем рисунке показаны выходные данные модели:
В рамках предварительной обработки входные данные лемматизируются с использованием Spacy, а затем передаются вмодель.
Код предварительной обработки лемматизации:
nlp = spacy.load(“en_core_web_sm-2.1.0”)
doc = nlp(sentence)
lemma_sent = “ “.join([token.lemma_ for token in doc])
Нижеприведенный метод подходит для модели:
model.fit(data_train,train_label,epoch=5,batch_size=32,verbose=True,validation_data=[data_test,test_label])
Но модель выдает выходные данные, как показано ниже для каждой эпохи (послелемматизация данных поезда и испытаний):
Пожалуйста, помогите, почему модель работает, как указано выше, с лемматизацией. Сводка модели выглядит одинаково как с лемматизацией, так и без нее.