Как установить параметры при использовании TensorRT для оптимизации InceptionV4 с использованием Jetson TX2? - PullRequest
Новая
       58

Как установить параметры при использовании TensorRT для оптимизации InceptionV4 с использованием Jetson TX2?

0 голосов
/ 10 марта 2020

Я оптимизирую InceptionV4 с помощью Tensor RT. Это означает, что я использую замороженный файл. У меня «Предупреждение о недостаточном объеме памяти». И в большинстве случаев Jetson TX2 дает сбой. Поэтому я хочу понять распределение памяти. Вот мои рассуждения, скажите, пожалуйста, все ли в порядке. 

trt_graph_def = trt.create_inference_graph(
        input_graph_def=classifier_graph_def,
        outputs=['InceptionV4/Logits/Logits/act_quant/FakeQuantWithMinMaxVars'],
        max_batch_size=1,
        max_workspace_size_bytes=3*(10**9),
        precision_mode=FP16)
    print('Generated TensorRT graph def')

Оперативная память Jetson TX2 составляет 8 ГБ. Он распределяется между процессором и графическим процессором.

  • Размер пакета - это количество обучающих примеров, представленных в одном пакете. И именно поэтому я не понимаю этот фрагмент: max_batch_size=1
  • Здесь я указываю 3 ГБ в качестве максимального объема памяти GPU, доступного для TensorRT: max_workspace_size_bytes=3*(10**9)

  • И здесь я даю 67% (5 ГБ) TensorFlow и 33% (3 ГБ) TensorRT памяти GPU: trt_gpu_ops=tf.GPUOptions(per_process_gpu_memory_fraction = 0.67)

  • Это должен быть выходной узел. При использовании FOR l oop внизу последний напечатанный узел: InceptionV4/Logits/Logits/act_quant/FakeQuantWithMinMaxVars Итак, я использую его как вывод. Я не уверена. Итак, как я могу узнать, что такое узел вывода? 

for node in classifier_graph_def.node:
    print(node.name)

Спасибо

...