Как обслуживать тензорный модуль, в частности Universal Sentence Encoder? - PullRequest
Новая
       46

Как обслуживать тензорный модуль, в частности Universal Sentence Encoder?

0 голосов
/ 09 октября 2018

Я потратил несколько часов, пытаясь настроить обслуживание Tensorflow для модуля-концентратора Tensorflow «Универсальный кодировщик предложений».Здесь есть похожий вопрос:

Как сделать встраивания концентратора тензорного потока обслуживаемыми с использованием тензорного потока?

Я делал это на компьютере с Windows.

Это код, который я использовал для построения модели: 

import tensorflow as tf
import tensorflow_hub as hub

MODEL_NAME = 'test'
VERSION = 1
SERVE_PATH = './models/{}/{}'.format(MODEL_NAME, VERSION)

with tf.Graph().as_default():
  module = hub.Module("https://tfhub.dev/google/universal-sentence- 
  encoder/1")
  text = tf.placeholder(tf.string, [None])
  embedding = module(text)

  init_op = tf.group([tf.global_variables_initializer(), 
  tf.tables_initializer()])
  with tf.Session() as session:
  session.run(init_op)
    tf.saved_model.simple_save(
    session,
    SERVE_PATH,
    inputs = {"text": text},
    outputs = {"embedding": embedding},
    legacy_init_op = tf.tables_initializer()        
   )

Я дошел до того, что выполнение следующей строки: 

saved_model_cli show --dir ${PWD}/models/test/1 --tag_set serve --signature_def serving_default

дает мне следующий результат:

The given SavedModel SignatureDef contains the following input(s):
inputs['text'] tensor_info:
  dtype: DT_STRING
  shape: (-1)
  name: Placeholder:0
The given SavedModel SignatureDef contains the following output(s):
 outputs['embedding'] tensor_info:
  dtype: DT_FLOAT
  shape: (-1, 512)
  name: module_apply_default/Encoder_en/hidden_layers/l2_normalize:0

Затем я попытался запустить: 

saved_model_cli run --dir ${PWD}/models/test/1 --tag_set serve --signature_def serving_default --input_exprs 'text=["what this is"]'

, что выдает ошибку: 

  File "<string>", line 1
[what this is]
         ^
SyntaxError: invalid syntax

Я попытался изменить формат текста части '= ["что это такое"] ', но у меня ничего не получалось.

Независимо от того, работает ли эта часть, главная цель - настроить модуль для обслуживания и создать вызываемый API.

Я пытался с докером, следующая строка: 

docker run -p 8501:8501 --name tf-serve -v ${PWD}/models/:/models -t tensorflow/serving --model_base_path=/models/test

Кажется, все настроено правильно: 

Building single TensorFlow model file config:  model_name: model model_base_path: /models/test
2018-10-09 07:05:08.692140: I tensorflow_serving/model_servers/server_core.cc:462] Adding/updating models.
2018-10-09 07:05:08.692301: I tensorflow_serving/model_servers/server_core.cc:517]  (Re-)adding model: model
2018-10-09 07:05:08.798733: I tensorflow_serving/core/basic_manager.cc:739] Successfully reserved resources to load servable {name: model version: 1}
2018-10-09 07:05:08.798841: I tensorflow_serving/core/loader_harness.cc:66] Approving load for servable version {name: model version: 1}
2018-10-09 07:05:08.798870: I tensorflow_serving/core/loader_harness.cc:74] Loading servable version {name: model version: 1}
2018-10-09 07:05:08.798904: I external/org_tensorflow/tensorflow/contrib/session_bundle/bundle_shim.cc:360] Attempting to load native SavedModelBundle in bundle-shim from: /models/test/1
2018-10-09 07:05:08.798947: I external/org_tensorflow/tensorflow/cc/saved_model/reader.cc:31] Reading SavedModel from: /models/test/1
2018-10-09 07:05:09.055822: I external/org_tensorflow/tensorflow/cc/saved_model/reader.cc:54] Reading meta graph with tags { serve }
2018-10-09 07:05:09.338142: I external/org_tensorflow/tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
2018-10-09 07:05:09.576751: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:162] Restoring SavedModel bundle.
2018-10-09 07:05:28.975611: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:138] Running MainOp with key saved_model_main_op on SavedModel bundle.
2018-10-09 07:06:30.941577: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:259] SavedModel load for tags { serve }; Status: success. Took 82120946 microseconds.
2018-10-09 07:06:30.990252: I tensorflow_serving/servables/tensorflow/saved_model_warmup.cc:83] No warmup data file found at /models/test/1/assets.extra/tf_serving_warmup_requests
2018-10-09 07:06:31.046262: I tensorflow_serving/core/loader_harness.cc:86] Successfully loaded servable version {name: model version: 1}
2018-10-09 07:06:31.184541: I tensorflow_serving/model_servers/server.cc:285] Running gRPC ModelServer at 0.0.0.0:8500 ...
[warn] getaddrinfo: address family for nodename not supported
2018-10-09 07:06:31.221644: I tensorflow_serving/model_servers/server.cc:301] Exporting HTTP/REST API at:localhost:8501 ...
[evhttp_server.cc : 235] RAW: Entering the event loop ...

Я пытался 

curl http://localhost:8501/v1/models/test

, который дает 

{ "error": "Malformed request: GET /v1/models/test:predict" }

и 

curl -d '{"text": "Hello"}' -X POST http://localhost:8501/v1/models/test:predict

, который дает 

{ "error": "JSON Parse error: Invalid value. at offset: 0" }

Подобный вопрос здесь

Обслуживание Tensorflow: Rest API возвращает ошибку «Malformed request»

Просто ищу какой-либо способ получить обслуживание этого модуля.Спасибо.

1 Ответ

0 голосов
/ 09 октября 2018

Я наконец смог разобраться.Я опубликую то, что сделал здесь, на случай, если кто-то другой попытается сделать то же самое.

Моя проблема с командой run для save_model_cli связана с кавычками (с использованием командной строки Windows).Измените 'text = ["чем это является"] "на" text = [' чем это является '] "

Проблема с запросом POST была двоякой.Во-первых, я заметил, что название модели - модель, поэтому должно было быть http://localhost:8501/v1/models/model:predict

Во-вторых, формат ввода был неправильным.Я использовал Почтальон, и тело запроса выглядит так: {"input": {"text": ["Hello"]}}

...