почему оптимизированный тензоррт pb не может быть развернут при помощи tf-Обслуживание?

Question

Я использую тензор для ускорения скорости вывода модели Tacotron2. Я использовал

версию tenorrt 5.0.2.6 и версию tenorflow 1.13.0.rc0.

Я конвертировал сохраненную модель в сохраненную модель tftrt, используя приведенный ниже тензор rti:

trt.create_inference_graph(
input_graph_def=None,
outputs=None,
max_batch_size=32,
input_saved_model_dir=os.path.join(args.export_dir, args.version),
output_saved_model_dir=args.output_saved_model_dir,
precision_mode=args.precision_mode)

. outputed tensorrt_savedmodel.pb не может быть импортировано в тензорную доску для просмотра, но tensorrt_savedmodel.pb может быть развернуто с tf-Обслуживание.

Однако, когда клиент запрашивает tf-обслуживание с использованием grpc, возникает ошибка:

<_Rendezvous of RPC that terminated with:
status = StatusCode.INVALID_ARGUMENT
details = "The TF function for the TRT segment could not be empty
 [[{{node model/inference/prenet/TRTEngineOp_33}}]]"
debug_error_string = " 
{"created":"@1572417319.714936208","description":"Error received from peer ipv4:192.168.23.17:8500","file":"src/core/lib/surface/call.cc","file_line":1052,"grpc_message":"The TF function for the TRT segment could not be empty\n\t [[{{node model/inference/prenet/TRTEngineOp_33}}]]","grpc_status":3}

какие-либо решения по этому вопросу?

Answer 1

Сохраненная модель TensorFlow также предоставляет формальный и последовательный способ использования tenorrt. Вы можете попытаться преобразовать его с помощью save_model_cli, а затем развернуть в tf-Обслуживание.

usage: saved_model_cli convert [-h] --dir DIR --output_dir OUTPUT_DIR
                               --tag_set TAG_SET
                               {tensorrt} ...

Usage example:
To convert the SavedModel to one that have TensorRT ops:
$saved_model_cli convert \
   --dir /tmp/saved_model \
   --tag_set serve \
   --output_dir /tmp/saved_model_trt \
   tensorrt

optional arguments:
  -h, --help            show this help message and exit
  --dir DIR             directory containing the SavedModel to convert
  --output_dir OUTPUT_DIR
                        output directory for the converted SavedModel
  --tag_set TAG_SET     tag-set of graph in SavedModel to convert, separated by ','

conversion methods:
  valid conversion methods

  {tensorrt}            the conversion to run with the SavedModel