У меня есть нестандартная USB-камера с нестандартным драйвером на плате Nvidia Jetson TX2, которая не обнаруживается в открытых примерах. Я получаю доступ к данным с помощью пользовательского источника GStreamer. В настоящее время я перетаскиваю кадры в циновку CV, преобразую цвета и подаю их в OpenPose для каждого изображения, все работает нормально, но на 30 - 40% медленнее, чем сопоставимый поток видео с камеры Plug and Play. Я хотел бы изучить такие вещи, как отслеживание, которое доступно для потоков, так как я пытаюсь максимизировать частоту кадров. Я считаю, что потоковая подача превосходна из-за лучшего (непрерывного) использования графического процессора.
В частности, ускорение будет происходить за счет доверия и будет рассмотрено позже. 1 кадр проходит оценку позы, а 3 - 4 последующих кадра просто отслеживают объект с уменьшающимися уровнями достоверности. Я попытался сделать это на примере «подключи и работай» и на примере openpose, и результаты оказались несколько удовлетворительными.
Суть в том, что я споткнулся, что могу поместить видеопоток в CV VideoCapture, но я не знаю, как предоставить захват видео CV в OpenPose для обработки.
Если есть лучший способ сделать это, я с удовольствием попробую разные вещи, но суть в том, что пользовательская камера остается (я знаю; /) , Решение описанной проблемы или другие идеи приветствуются.
Вещи, которые я уже пробовал:
- Более низкое разрешение камеры (камера подрезается ниже определенного разрешения вместо биннинга, поэтому не могу go ниже 1920x1080, кстати, это 40+ мегапиксельная видеокамера)
- использовать CUDA для сжатия изображения перед подачей его в OpenPose (время оценки сжатия + позы было практически эквивалентно оценке позы в оригинале image)
- , поскольку изображение с камеры постоянно c, проверьте наличие изменений между кадрами, обрежьте изображение до области, которая изменилась, и выполните оценку позы в этом разделе (ускорение на 10%, высокий риск что-то пропустить )