Ошибка модели тензорного потока после весового квантования - PullRequest
1 голос
/ 12 марта 2019

После квантования весов модели и сохранения ее для обслуживания TF я могу получить прогноз, хотя и медленнее, чем раньше.

Однако после Квантование весова также модель, а затем сохраняя ее для обслуживания и использования, я получаю следующую ошибку от клиента. Выполнение этого на V100 в контейнерах док-станции tf-Обслуживание (tenenflow / Обслуживание: Latest-GPU) - и клиент, и модели

_Rendezvous: <_Rendezvous для RPC, завершившегося с помощью: status = StatusCode.UNIMPLEMENTED details = "Трансляция между [1,9,4] и [221,1,4] пока не поддерживается. [[{{узел anchors_3 / add_2 / eightbit}}]] [[{{узел Filter_detections / map / while / non_max_suppression_47 / NonMaxSuppressionV3}}]]] "debug_error_string =" {"созданный": "@ 1552349235.607723578", "description": "ошибка получена отpeer "," file ":" src / core / lib / surface / call.cc "," file_line ": 1017," grpc_message ":" Трансляция между [1,9,4] и [221,1,4]пока не поддерживается. \ n \ t [[{{узел anchors_3 / add_2 / восьмиtbit}}]] \ n \ t [[{{node Filter_detections / map / while / non_max_suppression_47 / NonMaxSuppressionV3}}]] "," grpc_status ": 12}" </p>

В стороне обслуживания TF,Я получаю следующую ошибку

2019-03-12 00: 07: 13.149087: I external / org_tensorflow / tenorflow / core / kernels / quantized_add_op.cc: 546] ndims = 3 2019-03-1200: 07: 13.149233: I external / org_tensorflow / tenorflow / core / kernels / quantized_add_op.cc: 547] bcast.x_reshape () = [1,9,4] 2019-03-12 00: 07: 13.149309: I external /org_tensorflow / tenorflow / core / kernels / quantized_add_op.cc: 549] bcast.y_reshape () = [221,1,4] 2019-03-12 00: 07: 13.149348: Я внешний / org_tensorflow / tenorflow / core / kernels / quantized_add_op.cc: 551] bcast.x_bcast () = [221,1,1] 2019-03-12 00: 07: 13.149385: I external / org_tensorflow / tenorflow / core / kernels / quantized_add_op.cc: 553] bcast.y_bcast () = [1,9,1]

Модель является моделью обнаружения изображения

MetaGraphDef with tag-set: 'serve' contains the following SignatureDefs:

signature_def['serving_default']:
  The given SavedModel SignatureDef contains the following input(s):
    inputs['input_image'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, -1, -1, 3)
        name: input_1_2:0
  The given SavedModel SignatureDef contains the following output(s):
    outputs['filtered_detections/map/TensorArrayStack/TensorArrayGatherV3:0'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 300, 4)
        name: filtered_detections/map/TensorArrayStack/TensorArrayGatherV3:0
    outputs['filtered_detections/map/TensorArrayStack_1/TensorArrayGatherV3:0'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 300)
        name: filtered_detections/map/TensorArrayStack_1/TensorArrayGatherV3:0
    outputs['filtered_detections/map/TensorArrayStack_2/TensorArrayGatherV3:0'] tensor_info:
        dtype: DT_INT32
        shape: (-1, 300)
        name: filtered_detections/map/TensorArrayStack_2/TensorArrayGatherV3:0
  Method name is: tensorflow/serving/predict
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...