Загрузите и запустите тестирование модели .trt

Question

Мне нужно запустить мою модель в NVIDIA JETSON T2, поэтому я преобразовал свою рабочую модель yoloV3 в тензор RT (формат .trt) (https://towardsdatascience.com/have-you-optimized-your-deep-learning-model-before-deployment-cdc3aa7f413d) Эта ссылка помогла мне чтобы преобразовать модель Yolo в .trt. Но после преобразования модели в модель .trt мне нужно было проверить, хорошо ли она работает (т. е.) достаточно ли хорошее обнаружение. Я не смог найти пример кода для загрузки и тестирования модели .trt. Если кто-нибудь может мне помочь, пожалуйста, найдите образец кода в разделе ответов или любую ссылку для справки.

Answer 1

Вы можете загрузить и выполнить вывод вашей модели TRT , используя этот фрагмент кода. Это выполняется в Tensorflow 2.1.0 и Google Colab Environment.

from tensorflow.python.compiler.tensorrt import trt_convert as trt
from tensorflow.python.saved_model import tag_constants

saved_model_loaded = tf.saved_model.load(output_saved_model_dir, tags=[tag_constants.SERVING])
signature_keys = list(saved_model_loaded.signatures.keys())
print(signature_keys) # Outputs : ['serving_default']

graph_func = saved_model_loaded.signatures[signature_keys[0]]
graph_func(x_test) # Use this to perform inference

output_saved_model_dir - это местоположение вашей TensorRT Optimized модели в формате SavedModel .

Здесь вы можете добавить свои методы тестирования , чтобы определить производительность ваших сообщений pre и модель .

РЕДАКТИРОВАТЬ:

import tensorflow as tf
from tensorflow.python.compiler.tensorrt import trt_convert as trt
import numpy as np 

conversion_params = trt.DEFAULT_TRT_CONVERSION_PARAMS
conversion_params = conversion_params._replace(max_workspace_size_bytes=(1<<32))
conversion_params = conversion_params._replace(precision_mode="FP16")
conversion_params = conversion_params._replace(maximum_cached_engines=100)

converter = trt.TrtGraphConverterV2(
    input_saved_model_dir=input_saved_model_dir,
    conversion_params=conversion_params)

converter.convert()

converter.save(output_saved_model_dir)

Вот коды, используемые для Преобразование и Сохранение Tensorflow RT Оптимизированная модель.