Использование TensorFlow Object Detection API с LSTM для видео

Question

Я пытаюсь отслеживать (по обнаружению) объекты на видео.Проблема в том, что метка обнаруженных объектов изменилась на кадрах видео.Я считаю, что использование RNN (например, LSTM) может помочь сделать метки более стабильными, но я понятия не имею, как использовать замороженную модель моего детектора объектов (MobilenetV2 + SSD) в качестве входа для слоя LSTM и обучать слой.

Answer 1

вы можете попробовать это https://github.com/tensorflow/models/tree/master/research/lstm_object_detection. Это реализация из реализации обнаружения мобильного видеообъекта Tensorflow, предложенная в следующей статье: Обнаружение мобильного видеообъекта с помощью карт с функцией временного распознавания (CVPR 2018).

http://openaccess.thecvf.com/content_cvpr_2018/papers/Liu_Mobile_Video_Object_CVPR_2018_paper.pdf

Справка для вас.