NLP Sentiment Analysis net не учит - PullRequest
Новая
       26

NLP Sentiment Analysis net не учит

1 голос
/ 29 мая 2020

Я хочу обучить нейронную net анализу настроений. Я следил за учебными пособиями на веб-странице keras, но мне пришлось адаптировать код к моему сценарию использования, чтобы потом можно было использовать net.

Для этой цели я декодирую обратно тексты из набора данных imdb из keras от чисел к тексту, а затем я структурирую текст, потому что мне нужно использовать стеммизированный текст. После этого, поскольку я хочу контролировать способ встраивания слов, а не использовать text_to_sequences и pad_sequences, я обучаю вложения doc2ve c и использую его в обучающем наборе, чтобы получить вложения из текст, который я хочу классифицировать.

Проблема в том, что net ничего не узнает, точность не улучшается и я не могу уменьшить функцию потерь. Я пробовал много разных вещей, таких как архитектура net, все гиперпараметры и изменение последнего слоя с 2 цепей на 1 и с sparse_categorical_entropy на binary_crossentropy. Посмотрим, сможет ли кто-нибудь помочь и пролить свет на мою проблему. Я вставляю код сюда и заранее спасибо. 

from keras.datasets import imdb
max_features = 40000
(training_data, training_targets), (testing_data, testing_targets) = imdb.load_data(num_words=max_features)

import numpy as np
data = np.concatenate((training_data, testing_data), axis=0)
targets = np.concatenate((training_targets, testing_targets), axis=0)


index = imdb.get_word_index()
reverse_index = dict([(value, key) for (key, value) in index.items()])
decoded = " ".join([reverse_index.get(i - 3, "") for i in data[0]])

import nltk
from nltk .stem import LancasterStemmer

toke_corpus = list()
lan = LancasterStemmer()

from tqdm import tqdm
lista_reviews = list()

for review in tqdm(data):
  lista_reviews.append(np.array([lan.stem(reverse_index.get(i - 3, '')) for i in review][1:]))

train_x, test_x = lista_reviews[10000:], lista_reviews[:10000]
train_y, test_y = targets[10000:], targets[:10000]

 from gensim.models.callbacks import CallbackAny2Vec

 class EpochLogger(CallbackAny2Vec):
     '''Callback to log information about training'''
     def __init__(self):
         self.epoch = 0
     def on_epoch_begin(self, model):
         print("Epoch #{} start".format(self.epoch))
     def on_epoch_end(self, model):
         print("Epoch #{} end".format(self.epoch))
         self.epoch += 1


from gensim.models.doc2vec import Doc2Vec, TaggedDocument

documents = [TaggedDocument(doc, [i]) for i, doc in enumerate(lista_reviews)]
print("DOcuments already built")
epoch_logger = EpochLogger()
model = Doc2Vec(documents, vector_size=512, window=5, min_count=3, workers=8, epochs = 7, callbacks=[epoch_logger])


encoded_x_train, encoded_x_test = list(), list()
from tqdm import tqdm
for i in tqdm(train_x):
    encoded_x_train.append(model.infer_vector(i))
for k in tqdm(test_x):
    encoded_x_test.append(model.infer_vector(k))

import keras

reduce_lr = keras.callbacks.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.50, patience=2, verbose=1, mode='auto', cooldown=0, min_lr=0.00001)

early = keras.callbacks.EarlyStopping(monitor='val_loss', min_delta=0, patience=4, verbose=1, mode='auto')

from keras import models
from keras.models import Sequential
from keras import layers
from keras.layers import Embedding, Bidirectional, Dense, LSTM, Conv1D, MaxPooling1D, Flatten

model1 = Sequential()
model1.add(Embedding(input_dim = max_features, input_length=512, output_dim=128, trainable=False))

model1.add(Conv1D(filters=64,
                 kernel_size=5,
                 padding='valid',
                 activation='linear',
                 strides=1))
model1.add(MaxPooling1D(pool_size=4))
model1.add(Dense(64, activation='linear'))
model1.add(LSTM(32, activation='tanh'))
# model1.add(Dense(32, activation='relu'))
# model1.add(Flatten())
# model1.add(Dense(1, activation='sigmoid'))
model1.add(Dense(2, activation='softmax'))
model1.summary()


from keras import optimizers
# sgd = optimizers.SGD(lr=0.001, decay=1e-6, momentum=0.9, nesterov=True)
adam = optimizers.Adam(learning_rate=0.01, beta_1=0.9, beta_2=0.999, amsgrad=False)


model1.compile(loss='sparse_categorical_crossentropy',
              optimizer=adam,
              metrics=['accuracy'])

history  = model1.fit( np.array(encoded_x_train), np.array(train_y),
 epochs= 20,
 batch_size = 500,
 validation_data = (np.array(encoded_x_test), np.array(test_y)), callbacks = [reduce_lr, early]
)

1 Ответ

1 голос
/ 29 мая 2020

Вы используете Doc2Ve c для создания примеров вложений. по этой причине я не думаю, что слои Embedding, Conv1D и MaxPooling1D полезны в вашей сети. они полезны для word2ve c, где вы можете извлекать вложения каждого токена и использовать их внутри сети.

попробуйте накормить вашу сеть напрямую вашим встраиванием таким образом 

model1 = Sequential()
model1.add(Dense(128, activation='relu', input_shape=(512,)))
# ....
model1.add(Dense(2, activation='softmax'))

adam = optimizers.Adam(learning_rate=0.01, beta_1=0.9, beta_2=0.999, amsgrad=False)

model1.compile(loss='sparse_categorical_crossentropy',
              optimizer=adam,
              metrics=['accuracy'])

history  = model1.fit( np.array(encoded_x_train), np.array(train_y),
 epochs= 20,
 batch_size = 500,
 validation_data = (np.array(encoded_x_test), np.array(test_y)), callbacks = [reduce_lr, early]
)
...