Загруженная кера модель в колбе всегда предсказывает один и тот же класс

Question

Странная вещь происходит со мной.Я обучил модель анализа настроений с использованием keras следующим образом:

max_fatures = 2000
tokenizer = Tokenizer(num_words=max_fatures, split=' ')
tokenizer.fit_on_texts(data)
X = tokenizer.texts_to_sequences(data)
X = pad_sequences(X)

with open('tokenizer.pkl', 'wb') as fid:
    _pickle.dump(tokenizer, fid)

le = LabelEncoder()
le.fit(["pos", "neg"])
y = le.transform(data_labels)
y = keras.utils.to_categorical(y)

embed_dim = 128
lstm_out = 196

model = Sequential()
model.add(Embedding(max_fatures, embed_dim, input_length=X.shape[1]))
model.add(SpatialDropout1D(0.4))
model.add(LSTM(lstm_out, dropout=0.2, recurrent_dropout=0.2))
model.add(Dense(3, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

batch_size = 32
model.fit(X, y, epochs=10, batch_size=batch_size, verbose=2)

model.save('deep.h5')

Когда я загружаю ее в другой файл Python, все в порядке.Но когда я загружаю его в веб-приложение с колбой, все предсказанные классы являются положительными.Что не так?Вот код, который я использую в своем веб-приложении для колб:

with open('./resources/model/tokenizer.pkl', 'rb') as handle:
    keras_tokenizer = _pickle.load(handle)

K.clear_session()
model = load_model('./resources/model/deep.h5')
model._make_predict_function()
session = K.get_session()
global graph
graph = tf.get_default_graph()
graph.finalize()

stop_words = []

with open('./resources/stopwords.txt', encoding="utf8") as f:
    stop_words = f.read().splitlines()

normalizer = Normalizer()
stemmer = Stemmer()
tokenizer = RegexpTokenizer(r'\w+')


def predict_class(text):
    tokens = tokenizer.tokenize(text)
    temp = ''

    for token in tokens:
        if token in stop_words:
            continue

        token = normalizer.normalize(token)
        token = stemmer.stem(token)
        temp += token + ' '

    if not temp.strip():
        return None

    text = keras_tokenizer.texts_to_sequences(temp.strip())
    text = pad_sequences(text, maxlen=41)

    le = LabelEncoder()
    le.fit(["pos", "neg"])

    with session.as_default():
        with graph.as_default():
            sentiment = model.predict_classes(text)
            return le.inverse_transform(sentiment)[0]

Answer 1

Вы сохраняете архитектуру модели, но не ее вес!

Учитывая, что вы используете Keras и его токенизатор, я обнаружил, что лучший способ загрузить и повторно использовать ваши модели - это использовать представление json дляархитектура и токенизатор и сохраните веса с помощью h5:

def save(model):
    # Save the trained weights
    model.save_weights('model_weights.h5')

    # Save the model architecture
    with open('model_architecture.json', 'w') as f:
        f.write(model.to_json())

    # Save the tokenizer
    with open('tokenizer.json', 'w') as f:
        f.write(tokenizer.to_json())

Затем загрузите их в свое приложение для фляги следующим образом:

def models():
    with open('models/tokenizer.json') as f:
        tokenizer = tokenizer_from_json(f.read())

    # Model reconstruction from JSON file
    with open('models/model_architecture.json', 'r') as f:
        model = model_from_json(f.read())

    # Load weights into the new model
    model.load_weights('models/model_weights.h5')

    return model, tokenizer