Как я могу сделать конвейер LSTM и встраивания слов, чтобы предсказать новый контент для классификации текста? - PullRequest
Новая
       10

Как я могу сделать конвейер LSTM и встраивания слов, чтобы предсказать новый контент для классификации текста?

0 голосов
/ 03 апреля 2019

Я работаю над классификацией текста с использованием LSTM и встраивания слов, но я хочу сохранить свою модель в конвейере, чтобы повторно использовать ее для прогнозирования нового контента, поэтому, пожалуйста, какие-либо предложения? Это мой код: 

from keras.models import Model
from keras.layers import LSTM, Activation, Dense, Dropout, Input, Embedding
from keras.preprocessing.text import Tokenizer
from keras.preprocessing import sequence
from keras.callbacks import EarlyStopping

max_words = 1000
max_len = 150
tok = Tokenizer(num_words=max_words)
tok.fit_on_texts(X_train)
sequences = tok.texts_to_sequences(X_train)
sequences_matrix = sequence.pad_sequences(sequences,maxlen=max_len)
del model
def RNN():
    inputs = Input(name='inputs',shape=[max_len])
    layer = Embedding(max_words,50,input_length=max_len)(inputs)
    layer = LSTM(64)(layer)
    layer = Dense(256,name='FC1')(layer)
    layer = Activation('relu')(layer)
    layer = Dropout(0.5)(layer)
    layer = Dense(1,name='out_layer')(layer)
    layer = Activation('sigmoid')(layer)
    model = Model(inputs=inputs,outputs=layer)
    return model

model = RNN()
model.summary()
model.compile(loss='binary_crossentropy',optimizer='adam',metrics=['accuracy'])
model.fit(sequences_matrix,y_train,batch_size=120,epochs=30,
          validation_split=0.2,callbacks=[EarlyStopping(monitor='val_loss',min_delta=0.0001)])
...