Как экспортировать готовую модель исполнения?

Question

Завершив свою модель, я хочу экспортировать и развернуть ее, следуя этому руководству на веб-сайте TensorFlow. Тем не менее, нет никаких указаний на то, как это сделать в нетерпеливом исполнении, когда я не могу предоставить сеанс или график для builder.add_meta_graph_and_variables().

Это тот случай, когда мой код должен быть совместимым с графиком и графическим интерфейсом, или когда мне нужно сохранить свою модель, импортировать ее в сеанс и экспортировать ее оттуда?

Answer 1

TF 2.0 Alpha поддерживает экспорт / сохранение модели Eager Execution (по умолчанию установлено Eager Execution в 2.0). SavedModel содержит полную программу TensorFlow, включая веса и вычисления.

Пример кода для того же показан ниже:

!pip install -q tensorflow==2.0.0-alpha0
import tensorflow as tf

pretrained_model = tf.keras.applications.MobileNet()
tf.saved_model.save(pretrained_model, "/tmp/mobilenet/1/")

#Loading the saved model
loaded = tf.saved_model.load("/tmp/mobilenet/1/")
infer = loaded.signatures["serving_default"]

Обслуживание модели:

nohup tensorflow_model_server \
  --rest_api_port=8501 \
  --model_name=mobilenet \
  --model_base_path="/tmp/mobilenet" >server.log 2>&1

#Sending the Request for Inference

!pip install -q requests
import json
import numpy
import requests
data = json.dumps({"signature_name": "serving_default",
                   "instances": x.tolist()})
headers = {"content-type": "application/json"}
json_response = requests.post('http://localhost:8501/v1/models/mobilenet:predict',
                              data=data, headers=headers)
predictions = numpy.array(json.loads(json_response.text)["predictions"])