Создание файла выбора для модели машинного обучения - PullRequest
Новая
       8

Создание файла выбора для модели машинного обучения

0 голосов
/ 15 апреля 2019

То, что я пытаюсь сделать, это загрузить модель машинного обучения для генерации итогов в объекте pickle, чтобы при развертывании кода в моем веб-приложении он не выполнял ручную загрузку снова и снова.Это занимает довольно много времени, и я не могу позволить пользователю подождать 10-15 минут, пока модель загружается, а затем генерируется сводка.они сделали это за достаточно времени.В первый раз, когда я попытался это сделать, создаваемый файл pickle был размером 11,2 ГБ, что, я думаю, слишком много.И это заняло больше часа, сделав мой компьютер бесполезным.И код не был выполнен, я принудительно перезапустил мой компьютер, потому что он занимал слишком много времени.

Я был бы очень признателен, если бы кто-нибудь мог помочь.

1 Ответ

0 голосов
/ 15 апреля 2019

Я бы предложил проверить, улучшает ли производительность сохранение в hdf5:

Запись в hdf5: 

with h5py.File('model.hdf5', 'w') as f:
    for var in tf.trainable_variables():
        key = var.name.replace('/', ' ')
        value = session.run(var)
        f.create_dataset(key, data=value)

Чтение из hdf5: 

with h5py.File('model.hdf5', 'r') as f:
    for (name, val) in f.items()
        name = name.replace(' ', '/')
        val = np.array(val)
        session.run(param_setters[name][0], { param_setters[name][1]: val })

Источники:

https://www.tensorflow.org/tutorials/keras/save_and_restore_models

https://geekyisawesome.blogspot.com/2018/06/savingloading-tensorflow-model-using.html

...