развернуть TFX с существующими frozen_interface_graph.pb и label_map.pbtxt

Question

Я обучил модель обнаружения объекта с более быстрой сетью R-CNN и имеет frozen_interface_graph.pb и label_map.pbtxt после обучения. Я хотел развернуть его как сервер RESTAPI, чтобы его можно было вызывать из систем, в которых нет Tensorflow. Вот когда я наткнулся на TFX.

Как я могу использовать TFX tensorflow-model-server для загрузки этой модели и размещения RESTAPI, чтобы я мог отправлять изображения для прогноза в виде запроса POST?

https://www.tensorflow.org/tfx/tutorials/serving/rest_simple Это что я нашел в качестве ссылки, но модели имеют другой формат, чем у меня в настоящее время. Существует ли какой-либо механизм, с помощью которого я могу повторно использовать имеющуюся у меня модель или мне придется переподготовку с использованием Keras и развертывание, как показано в reference .

Answer 1

Чтобы повторно использовать вашу модель для TFX, замороженный график должен иметь указанную подпись обслуживания. Попытался преобразовать вашу модель в сохраненную модель , используя приведенный ниже код, который успешно создал файл savedmodel.pb с набором тегов "serve".

import tensorflow as tf
from tensorflow.python.saved_model import signature_constants
from tensorflow.python.saved_model import tag_constants

export_dir = './saved'
graph_pb = 'frozen_inference_graph.pb'

builder = tf.saved_model.builder.SavedModelBuilder(export_dir)

with tf.gfile.GFile(graph_pb, "rb") as f:
    graph_def = tf.GraphDef()
    graph_def.ParseFromString(f.read())

sigs = {}

with tf.Session(graph=tf.Graph()) as sess:
    # name="" is important to ensure we don't get spurious prefixing
    tf.import_graph_def(graph_def, name="")
    g = tf.get_default_graph()
    sess.graph.get_operations()
    inp = g.get_tensor_by_name("image_tensor:0")
    outputs = {}
    outputs["detection_boxes"] = g.get_tensor_by_name('detection_boxes:0')
    outputs["detection_scores"] = g.get_tensor_by_name('detection_scores:0')
    outputs["detection_classes"] = g.get_tensor_by_name('detection_classes:0')
    outputs["num_detections"] = g.get_tensor_by_name('num_detections:0')

    output_tensor = tf.concat([tf.expand_dims(t, 0) for t in outputs], 0)


    sigs[signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY] = \
        tf.saved_model.signature_def_utils.predict_signature_def(
            {"in": inp}, {"out": out})

    sigs["predict_images"] = \
    tf.saved_model.signature_def_utils.predict_signature_def(
        {"in": inp}, {"out": output_tensor} )

    builder.add_meta_graph_and_variables(sess,
                                         [tag_constants.SERVING],
                                         signature_def_map=sigs)

builder.save().

Мы протестировали преобразованную модель с помощью прогнозирование образца изображения, которое вы предоставили. Результат не показывает никаких прогнозов, что, вероятно, означает, что метод преобразования не работает должным образом.

Что касается вашего вопроса:

«Существует ли какой-либо механизм, с помощью которого я могу повторно использовать модель, которая у меня есть в настоящее время, или мне придется переподготовку с использованием Keras и развертывание, как показано в справочном руководстве?»

С этим результатом это лучше просто переобучить вашу модель, используя Keras в качестве ответа на ваш вопрос, потому что преобразование или повторное использование вашей модели замороженного графа не будет решением. Ваша модель не сохраняет переменные, необходимые для обслуживания модели, а формат модели не подходит для производственной среды. И да, это лучший способ следовать официальной документации 1024 *, так как вы будете уверены, что это сработает.