Обслуживание двигателя ML, кажется, не работает, как предполагалось

Question

При использовании следующего кода и выполнении локального предсказания gcloud ml-engine я получаю:

InvalidArgumentError (см. Выше для отслеживания): вы должны передать значение для тензора-заполнителя 'Placeholder' с dtypeстрока и форма [?] [[Узел: Placeholder = Placeholderdtype = DT_STRING, shape = [?], _device = "/ job: localhost / replica: 0 / task: 0 / device: CPU: 0"]] (Код ошибки:2)

tf_files_path = './tf'
# os.makedirs(tf_files_path)  # temp dir
estimator =\
    tf.keras.estimator.model_to_estimator(keras_model_path="model_data/yolo.h5",
                                            model_dir=tf_files_path)

#up_one_dir(os.path.join(tf_files_path, 'keras'))

def serving_input_receiver_fn():
    def prepare_image(image_str_tensor):
        image = tf.image.decode_jpeg(image_str_tensor,
                                    channels=3)
        image = tf.divide(image, 255)
        image = tf.image.convert_image_dtype(image, tf.float32)
        return image

    # Ensure model is batchable
    # https://stackoverflow.com/questions/52303403/
    input_ph = tf.placeholder(tf.string, shape=[None])
    images_tensor = tf.map_fn(
                prepare_image, input_ph, back_prop=False, dtype=tf.float32)

    return tf.estimator.export.ServingInputReceiver(
        {model.input_names[0]: images_tensor},
        {'image_bytes': input_ph})

export_path = './export'
estimator.export_savedmodel(
    export_path,
    serving_input_receiver_fn=serving_input_receiver_fn)

JSON, который я отправляю в механизм ml, выглядит следующим образом:

{"image_bytes": {"b64": "/9j/4AAQSkZJRgABAQAAAQABAAD/2w..."}}

Когда не выполняется локальное предсказание, а отправляется его в сам механизм ML, Я получаю:

ERROR: (gcloud.ml-engine.predict) HTTP request failed. Response: {
"error": {
"code": 500,
"message": "Internal error encountered.",
"status": "INTERNAL"
}
}

Сохраненный_модель_кли дает:

saved_model_cli show --all --dir export/1547848897/

MetaGraphDef with tag-set: 'serve' contains the following SignatureDefs:

signature_def['serving_default']:
The given SavedModel SignatureDef contains the following input(s):
inputs['image_bytes'] tensor_info:
dtype: DT_STRING
shape: (-1)
name: Placeholder:0
The given SavedModel SignatureDef contains the following output(s):
outputs['conv2d_59'] tensor_info:
dtype: DT_FLOAT
shape: (-1, -1, -1, 255)
name: conv2d_59/BiasAdd:0
outputs['conv2d_67'] tensor_info:
dtype: DT_FLOAT
shape: (-1, -1, -1, 255)
name: conv2d_67/BiasAdd:0
outputs['conv2d_75'] tensor_info:
dtype: DT_FLOAT
shape: (-1, -1, -1, 255)
name: conv2d_75/BiasAdd:0
Method name is: tensorflow/serving/predict

Кто-нибудь видит, что здесь происходит не так?

Answer 1

Проблема была решена.Вывод модели оказался слишком большим для ml-engine, чтобы отправить его обратно, и он не уловил ее в более значимом исключении, чем внутренняя ошибка 500.Мы добавили некоторые этапы постобработки в модель, и теперь она работает нормально.

Для команды локального прогнозирования gcloud ml-engine, которая возвращает ошибку, похоже, это ошибка.Сейчас модель работает на ml-engine, но все еще возвращает эту ошибку с локальным прогнозом.