После квантования весов модели и сохранения ее для обслуживания TF я могу получить прогноз, хотя и медленнее, чем раньше.
Однако после Квантование весова также модель, а затем сохраняя ее для обслуживания и использования, я получаю следующую ошибку от клиента. Выполнение этого на V100 в контейнерах док-станции tf-Обслуживание (tenenflow / Обслуживание: Latest-GPU) - и клиент, и модели
_Rendezvous: <_Rendezvous для RPC, завершившегося с помощью: status = StatusCode.UNIMPLEMENTED details = "Трансляция между [1,9,4] и [221,1,4] пока не поддерживается. [[{{узел anchors_3 / add_2 / eightbit}}]] [[{{узел Filter_detections / map / while / non_max_suppression_47 / NonMaxSuppressionV3}}]]] "debug_error_string =" {"созданный": "@ 1552349235.607723578", "description": "ошибка получена отpeer "," file ":" src / core / lib / surface / call.cc "," file_line ": 1017," grpc_message ":" Трансляция между [1,9,4] и [221,1,4]пока не поддерживается. \ n \ t [[{{узел anchors_3 / add_2 / восьмиtbit}}]] \ n \ t [[{{node Filter_detections / map / while / non_max_suppression_47 / NonMaxSuppressionV3}}]] "," grpc_status ": 12}" </p>
В стороне обслуживания TF,Я получаю следующую ошибку
2019-03-12 00: 07: 13.149087: I external / org_tensorflow / tenorflow / core / kernels / quantized_add_op.cc: 546] ndims = 3 2019-03-1200: 07: 13.149233: I external / org_tensorflow / tenorflow / core / kernels / quantized_add_op.cc: 547] bcast.x_reshape () = [1,9,4] 2019-03-12 00: 07: 13.149309: I external /org_tensorflow / tenorflow / core / kernels / quantized_add_op.cc: 549] bcast.y_reshape () = [221,1,4] 2019-03-12 00: 07: 13.149348: Я внешний / org_tensorflow / tenorflow / core / kernels / quantized_add_op.cc: 551] bcast.x_bcast () = [221,1,1] 2019-03-12 00: 07: 13.149385: I external / org_tensorflow / tenorflow / core / kernels / quantized_add_op.cc: 553] bcast.y_bcast () = [1,9,1]
Модель является моделью обнаружения изображения
MetaGraphDef with tag-set: 'serve' contains the following SignatureDefs:
signature_def['serving_default']:
The given SavedModel SignatureDef contains the following input(s):
inputs['input_image'] tensor_info:
dtype: DT_FLOAT
shape: (-1, -1, -1, 3)
name: input_1_2:0
The given SavedModel SignatureDef contains the following output(s):
outputs['filtered_detections/map/TensorArrayStack/TensorArrayGatherV3:0'] tensor_info:
dtype: DT_FLOAT
shape: (-1, 300, 4)
name: filtered_detections/map/TensorArrayStack/TensorArrayGatherV3:0
outputs['filtered_detections/map/TensorArrayStack_1/TensorArrayGatherV3:0'] tensor_info:
dtype: DT_FLOAT
shape: (-1, 300)
name: filtered_detections/map/TensorArrayStack_1/TensorArrayGatherV3:0
outputs['filtered_detections/map/TensorArrayStack_2/TensorArrayGatherV3:0'] tensor_info:
dtype: DT_INT32
shape: (-1, 300)
name: filtered_detections/map/TensorArrayStack_2/TensorArrayGatherV3:0
Method name is: tensorflow/serving/predict