Уменьшить размер модели Keras LSTM - PullRequest
Новая
       37

Уменьшить размер модели Keras LSTM

0 голосов
/ 07 мая 2018

По сути, я тренирую модель LSTM с использованием Keras, но когда я ее сохраняю, ее размер занимает до 100 МБ. Однако моя цель модели - развернуть на веб-сервере для использования в качестве API, мой веб-сервер не может его запустить, так как размер модели слишком велик. Проанализировав все параметры в моей модели, я обнаружил, что в моей модели 20,000,000 параметры, но 15,000,000 параметры не обучены, так как они являются вложениями слов. Можно ли как-то минимизировать размер модели, удалив параметры 15,000,000, но сохранив производительность модели? Вот мой код для модели: 

def LSTModel(input_shape, word_to_vec_map, word_to_index):


    sentence_indices = Input(input_shape, dtype="int32")

    embedding_layer = pretrained_embedding_layer(word_to_vec_map, word_to_index)


    embeddings = embedding_layer(sentence_indices)


    X = LSTM(256, return_sequences=True)(embeddings)
    X = Dropout(0.5)(X)
    X = LSTM(256, return_sequences=False)(X)
    X = Dropout(0.5)(X)    
    X = Dense(NUM_OF_LABELS)(X)
    X = Activation("softmax")(X)

    model = Model(inputs=sentence_indices, outputs=X)

    return model

1 Ответ

0 голосов
/ 07 мая 2018

Определите слои, которые вы хотите сохранить вне функции и назовите их. Затем создайте две функции foo() и bar(). foo() будет иметь оригинальный конвейер, включая слой внедрения. bar() будет иметь только часть конвейера ПОСЛЕ встраивания. Вместо этого вы определите новый слой Input() в bar() с размерами ваших вложений: 

lstm1 = LSTM(256, return_sequences=True, name='lstm1')
lstm2 = LSTM(256, return_sequences=False, name='lstm2')
dense = Dense(NUM_OF_LABELS, name='Susie Dense')

def foo(...):
    sentence_indices = Input(input_shape, dtype="int32")
    embedding_layer = pretrained_embedding_layer(word_to_vec_map, word_to_index)
    embeddings = embedding_layer(sentence_indices)
    X = lstm1(embeddings)
    X = Dropout(0.5)(X)
    X = lstm2(X)
    X = Dropout(0.5)(X)    
    X = dense(X)
    X = Activation("softmax")(X)
    return Model(inputs=sentence_indices, outputs=X)


def bar(...):
    embeddings = Input(embedding_shape, dtype="float32")
    X = lstm1(embeddings)
    X = Dropout(0.5)(X)
    X = lstm2(X)
    X = Dropout(0.5)(X)    
    X = dense(X)
    X = Activation("softmax")(X)
    return Model(inputs=sentence_indices, outputs=X)

foo_model = foo(...)
bar_model = bar(...)

foo_model.fit(...)
bar_model.save_weights(...)

Теперь вы будете тренировать оригинальную foo() модель. Затем вы можете сохранить веса уменьшенной модели bar(). При загрузке модели не забудьте указать by_name=True параметр: 

foo_model.load_weights('bar_model.h5', by_name=True)
...