Как отправить запрос REST API на модель обслуживания Tensorflow с разреженными тензорами? - PullRequest
Новая
       54

Как отправить запрос REST API на модель обслуживания Tensorflow с разреженными тензорами?

1 голос
/ 30 марта 2020

Я пытаюсь обслуживать мою модель TF с помощью TF Serving. Вот входные данные модели, которые у меня есть: 

raw_feature_spec = {
     'x': tf.io.VarLenFeature(tf.string),
     'y': tf.io.VarLenFeature(tf.string),
     'z': tf.io.FixedLenFeature([], tf.string)
}

Затем я экспортирую свою модель с: 

 import tensorflow as tf
 import tensorflow_transform as tft

 tf_transform_output = tft.TFTransformOutput('saved_transform_graph_folder')     
 estimator = tf.keras.estimator.model_to_estimator(keras_model_path='model_folder')
 estimator.export_saved_model('OUTPUT_MODEL_NAME',  make_serving_input_fn(tf_transform_output))

def make_serving_input_fn(tf_transform_output):
 raw_feature_spec = {
       'x': tf.io.VarLenFeature(tf.string),
       'y': tf.io.VarLenFeature(tf.string),
       'z': tf.io.FixedLenFeature([], tf.string)
   }

def serving_input_fn():
    raw_input_fn = tf.estimator.export.build_parsing_serving_input_receiver_fn(raw_feature_spec)
    raw_reatures = raw_input_fn().features
    transformed_features = tf_transform_output.transform_raw_features(raw_reatures)
    return tf.estimator.export.ServingInputReceiver(transformed_features, raw_reatures)

return serving_input_fn

Поэтому, когда я обслуживаю экспортированную модель по этому коду, используя изображение TFS из Docker Концентратор, отправляющий HTTP-запрос GET в / model / metadata, который я получаю: 

{
"model_spec": {
    "name": "newModel",
    "signature_name": "",
    "version": "1585581470"
},
"metadata": {
    "signature_def": {
        "signature_def": {
            "serving_default": {
                "inputs": {
                    "x": {
                       "coo_sparse": {
                            "values_tensor_name": "ParseExample/ParseExampleV2:3",
                            "indices_tensor_name": "ParseExample/ParseExampleV2:1",
                            "dense_shape_tensor_name": "ParseExample/ParseExampleV2:5"
                        },
                        "dtype": "DT_STRING",
                        "tensor_shape": {
                            "dim": [
                                {
                                    "size": "-1",
                                    "name": ""
                                },
                                {
                                    "size": "-1",
                                    "name": ""
                                }
                            ],
                            "unknown_rank": false
                        }
                    },
                    "y": {
                         "coo_sparse": {
                            "values_tensor_name": "ParseExample/ParseExampleV2:2",
                            "indices_tensor_name": "ParseExample/ParseExampleV2:0",
                            "dense_shape_tensor_name": "ParseExample/ParseExampleV2:4"
                        },
                        "dtype": "DT_STRING",
                        "tensor_shape": {
                            "dim": [
                                {
                                    "size": "-1",
                                    "name": ""
                                },
                                {
                                    "size": "-1",
                                    "name": ""
                                }
                            ],
                            "unknown_rank": false
                    },
                    "z": {
                        "dtype": "DT_STRING",
                        "tensor_shape": {
                            "dim": [
                                {
                                    "size": "-1",
                                    "name": ""
                                }
                            ],
                            "unknown_rank": false
                        },
                        "name": "ParseExample/ParseExampleV2:6"
                    }
                },
                "outputs": {
                    "main_output": {
                        "dtype": "DT_FLOAT",
                        "tensor_shape": {
                            "dim": [
                                {
                                    "size": "-1",
                                    "name": ""
                                },
                                {
                                    "size": "20",
                                    "name": ""
                                }
                            ],
                            "unknown_rank": false
                        },
                        "name": "main_output/Softmax:0"
                    }
                },
                "method_name": "tensorflow/serving/predict"
            }
        }
    }
}

Но когда я отправляю HTTP-запрос POST в / model: прогноз с телом: 

{ 
   "instances": 
   [
     {
        "x": ["text","text","text","text","text","text"],
        "y": ["test","test","test","test","test","test"],
        "z": "str"
     }
  ]
}

I получаю ошибку 

{
   "error": "Tensor :0, specified in either feed_devices or fetch_devices was not found in the Graph"
}

Так как мне реорганизовать JSON для получения правильного ответа от API? Версия TF: 2.1, TF Serving последний и TF Transform - 0.21.0.

...