Я оптимизировал свою модель глубокого обучения с помощью TensorRT . Интерфейс C ++ выводит изображения по оптимизированной модели на Jetson TX2 . Этот интерфейс обеспечивает в среднем 60 FPS (но он не стабилен. Выводы находятся в диапазоне от 50 до 160 FPS). Мне нужно, чтобы эта система работала как в режиме реального времени на исправленном Jetson .
Так что вы думаете о выводе в реальном времени с TensorRT? Можно ли разработать систему логического вывода в реальном времени с TensorRT и как?
Я попытался установить высокие приоритеты для процессов и потоков, чтобы обеспечить вытеснение. Я ожидаю примерно одинаковое значение FPS при каждом выводе. Поэтому мне нужно время детерминированного вывода. Но система не может вывести детерминистически.