как использовать предсказать API обслуживания тензорного потока - PullRequest
Новая
       36

как использовать предсказать API обслуживания тензорного потока

0 голосов
/ 27 сентября 2018

Я использую builder api, чтобы сохранить свою модель радужной оболочки как SavedModel и развернуть ее с помощью docker: 

docker run -p 8503:8501 -v $PWD/my_model3:/models/my_model3 -e MODEL_NAME=my_model3 -t tensorflow/serving

Хорошо, я могу использовать формат строки tf ( Predict API instances следующим образом:

URL : http://localhost:8503/v1/models/my_model3:predict

Запрос : 

{
    "signature_name": "predict",
    "instances": [
        {
            "size": [5.1, 3.3, 1.7, 0.5]
        }
    ]
}

Ответ : 

{
    "predictions": [
        {
            "probabilities": [
                0.998033,
                0.00196652,
                1.84558e-18
            ],
            "predicted_classes": 0,
            "logits": [
                19.9882,
                13.7587,
                -20.8436
            ]
        }
    ]
}

В соответствии с Predict API, формат столбца также поддерживается inputs, например: 

{
    "inputs": {
    "tag": ["foo", "bar"],
    "signal": [[1, 2, 3, 4, 5], [3, 4, 1, 2, 5]],
    "sensor": [[[1, 2], [3, 4]], [[4, 5], [6, 8]]]
    }
}

Но мне кажется, что тело запроса не работаеткак:

Запрос : 

{
    "signature_name": "predict",
    "inputs": 
        {
            "size": [[5.1, 3.3, 1.7, 0.5]]
        }

}

и ошибка возврата: 

{ "error": "JSON Value: {\n    \"signature_name\": \"predict\",\n    \"inputs\": {\n        \"size\": [\n            [\n                5.1,\n                3.3,\n                1.7,\n                0.5\n            ]\n        ]\n    }\n} not formatted correctly. Expecting object with \'instances\' key and a list/array as the value." }

Любой, кто использует формат столбца, может мне помочь? Спасибо за вашСоветы!

============

Мое окружение:

  • ОС: centos 7.4
  • Докер:17.09.0-ce
  • Тензор-GPU: 1.7.0
...