Как загрузить файл .h5 (Keras) в Azure Blob Storage, не сохраняя его на диске в Python

Question

Я создаю модель в Keras и хочу сохранить модель в Azure Blob Storage.

Я попытался загрузить его с помощью upload_blob, но модель является последовательной, и служба blob ожидает сериализованный объект. Хотя я могу легко загрузить формат .pkl (pickle).

Я пробовал сериализовать модель с помощью pickle, но после загрузки модель повреждена и непригодна для использования.

# MLP for Pima Indians Dataset saved to single file
from numpy import loadtxt
from keras.models import Sequential
from keras.layers import Dense
import tensorflow as tf
import pickle
# load pima indians dataset
dataset = loadtxt("https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv", delimiter=",")
# split into input (X) and output (Y) variables
X = dataset[:,0:8]
Y = dataset[:,8]
# define model
model = Sequential()
model.add(Dense(12, input_dim=8, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
# compile model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# Fit the model
model.fit(X, Y, epochs=150, batch_size=10, verbose=0)
# evaluate the model
scores = model.evaluate(X, Y, verbose=0)
print("%s: %.2f%%" % (model.metrics_names[1], scores[1]*100))
# save model and architecture to single file
model.save("model.h5")
print("Saved model to disk")
pickle_file = pickle.dumps(model)

from azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

connect_str = ""
blob_service_client = BlobServiceClient.from_connection_string(connect_str)

# # Create a unique name for the container
container_name = ""
remote_file_name = "model"

blob_client = blob_service_client.get_blob_client(container=container_name, blob=remote_file_name)
blob_client.upload_blob(pickle_file)

Я использую модель basi c с machinelearningmastery.com

Answer 1

Я нашел способ пока. Я разделяю свою последовательную модель .h5 на две части: одну как. json, которая будет иметь архитектуру, а вторая часть как двоичный файл, который будет иметь веса. Я могу загрузить оба из них в хранилище BLOB-объектов, в следующий раз, когда они мне понадобятся, я могу загрузить их оба, объединить и использовать.

# serialize model to JSON

# model_weights = model.get_weights()
# model_json = model.to_json()

# model_weights_pickle = pickle.dumps(model_weights)
# model_json_pickle = pickle.dumps(model_json)

После этого вы можете загрузить модель, используя model_from_json и model.set_weights