Получить вероятность слова для классификации текста с LSTM в Керасе - PullRequest
Новая
       14

Получить вероятность слова для классификации текста с LSTM в Керасе

1 голос
/ 03 апреля 2020

Я делаю классификацию настроений, используя LSTM с Keras, и я хочу получить вероятность того, что LSTM присваивает каждому слову предложения, чтобы узнать, какие слова являются более репрезентативными.

Например, для следующее предложение:

«Этот пейзаж замечательный и успокаивающий»

Я считаю, что наиболее представительными словами для классификации предложения на положительные являются «прекрасные» и «успокаивающие» слова.

Как я могу получить вероятность, которую LSTM присваивает каждому слову? 

lstm_layer = layers.LSTM(size)(embedding_layer)

output_layer1 = layers.Dense(50, activation=activation)(lstm_layer)
output_layer1 = layers.Dropout(0.25)(output_layer1)
output_layer2 = layers.Dense(1, activation="sigmoid")(output_layer1)

model = models.Model(inputs=input_layer, outputs=output_layer2)
model.compile(optimizer=optimizer, loss='binary_crossentropy')

Спасибо

1 Ответ

0 голосов
/ 03 апреля 2020

Вы можете получить вероятности из последнего слоя (плотный слой с softmax). Пример модели: 

import keras
import keras.layers as L

# instantiate sequential model
model = keras.models.Sequential()

# define input layer
model.add(L.InputLayer([None], dtype='int32'))

# define embedding layer for dictionary size of 'len(all_words)' and 50 features/units
model.add(L.Embedding(len(all_words), 50))

# define fully-connected RNN with 64 output units. Crucially: we return the outputs of the RNN for every time step instead of just the last time step
model.add(L.SimpleRNN(64, return_sequences=True))

# define dense layer of 'len(all_words)' outputs and softmax activation
# this will produce a vector of size len(all_words)
stepwise_dense = L.Dense(len(all_words), activation='softmax')

# The TimeDistributed layer adds a time dimension to the Dense layer so that it applies across the time dimension for every batch
# That is, TimeDistributed applies the Dense layer to each time-step (input word) independently. Without it, the Dense layer would apply only once to all of the time-steps concatenated.
# So, for the given time step (input word), each element 'i' in the output vector is the probability of the ith word from the target dictionary
stepwise_dense = L.TimeDistributed(stepwise_dense)
model.add(stepwise_dense)

Затем скомпилируйте и подгоните (обучите) вашу модель: 

model.compile('adam','categorical_crossentropy')

model.fit_generator(generate_batches(train_data),len(train_data)/BATCH_SIZE,
                    callbacks=[EvaluateAccuracy()], epochs=5,)

Наконец - просто используйте функцию прогнозирования, чтобы получить вероятности: 

model.predict(input_to_your_network)

И, чтобы было ясно, i -ая выходная единица слоя softmax представляет прогнозируемую вероятность i -го класса (также см. Здесь) .

...