Как сделать вывод, используя модели TesnorFlow-GPU на Tegra X2?

Question

Я новичок в плате Jetson Tegra X2.

У меня есть план, чтобы запустить мои модели tenorflow-gpu на плате TX2 и посмотреть, как они там работают.Эти модели проходят обучение и тестируются на GTX GPU.

На плате tx2 в Jetpack full отсутствует тензор потока.Так что требуется создать / установить tenorflow, который я изучил и попробовал.Мои python-файлы train.py и test.py ожидают tennsflow-gpu.

Теперь я подозреваю, является ли правильное направление строительства tenorflow-gpu на плате tx2?

О, на TX2 есть Nvidia TensorRT, который выполнит часть работы, но как?и это правильно?

Будет ли работать tenorflow и tenorRT вместе, чтобы заменить tenorflow-gpu?но как?тогда какие изменения мне нужно будет внести в мой поезд и протестировать файлы python?

Действительно ли мне вообще нужно создавать тензор потока для tx2?Мне нужен только вывод, я не хочу проводить там обучение.

Я изучал разные блоги и пробовал несколько вариантов, но сейчас все немного запутано.

Мой простой вопрос:

Какие шаги нужно сделать, чтобы сделать вывод на плате Jetson TX2 с помощью моделей глубокого обучения TensorFlow-GPU, обученных на машине GTX?

Answer 1

Я построил тензор потока на JetsonTX2, следуя этому руководству.Он предоставляет инструкции и колеса для Python 2 и Python3.

• https://github.com/jetsonhacks/installTensorFlowTX2

Если вы новичок в Jetson TX2, также ознакомьтесь с этим " Руководством по развертыванию сетей логического вывода с глубоким обучениеми примитивы глубокого видения с TensorRT и NVIDIA Jetson ".(* Для этого не требуется установка тензорного потока, поскольку Jetpack уже создает TensorRT)

• https://github.com/dusty-nv/jetson-inference#building-from-source-on-jetson

Если у вас есть обученные графы с тензорным потоком, которые вы хотите запустить на Jetson, товам нужно сначала установить tenorflow.После этого рекомендуется (не обязательно для вывода) оптимизировать обученные модели с помощью tenorRT. Проверьте эти репозитории для примеров обнаружения / классификации объектов, использующих оптимизацию TensorRT.

• https://github.com/NVIDIA-AI-IOT/tf_trt_models
• https://github.com/NVIDIA-AI-IOT/tf_to_trt_image_classification

Answer 2

В этой ссылке на форуме разработчиков Nvidia вы можете найти файлы с колесом tenorflow-gpu для TX2 для python 2.7 и python 3.5.

https://devtalk.nvidia.com/default/topic/1031300/jetson-tx2/tensorflow-1-8-wheel-with-jetpack-3-2-/

Answer 3

Самый простой способ - установить колесо NVIDIA: https://docs.nvidia.com/deeplearning/dgx/install-tf-jetsontx2/index.html

Все зависимости уже установлены JetPack.

После установки Tensorflow с помощью колеса вы можете использовать егооднако вы используете Tensorflow на других платформах.Для запуска логического вывода вы можете загрузить модель Tensorflow в память TX2 и запустить на них свои скрипты логического вывода Tensorflow.

Вы также можете оптимизировать свои модели Tensorflow, передав их через TF-TRT: https://docs.nvidia.com/deeplearning/dgx/integrate-tf-trt/index.htmlСуществует только один вызов API, который выполняет оптимизацию: create_inference_graph (...) Это оптимизирует график Tensorflow (в основном путем слияния узлов), а также позволит вам строить модели с более низкой точностью для повышения скорости.