Как считать объекты в видео

Question

В целом, есть ли "лучшая практика" по использованию видео в качестве входных данных для моделей глубокого обучения?Как мы можем аннотировать видео наиболее эффективным способом?

Кроме того, у меня есть несколько видео с утками, идущими по коридору.Я хочу посчитать количество серой утки и количество желтой утки, проходящей через проход.Утка может проходить напрямую (самый простой случай), или может оставаться в проходе некоторое время и проходить через нее, или может пройти половину прохода и вернуться в другом направлении (в этом случае это не должно учитываться).

Я планирую использовать Mask-RCNN для сегментирования уток в каждом кадре, а затем смотреть на маски из кадра i и маски из кадра i + 1 и устанавливать правила для подсчета количества различных уток, которые действительно проходятпроход.Это не кажется мне оптимальным.

Есть идеи / помощь / советы?

Answer 1

Я полагаю, это зависит от видео, но хорошим вариантом было

1. Аннотировать некоторые "не похожие кадры" с: http://www.robots.ox.ac.uk/~vgg/software/via/
2. Используйте модель типа YOLO или Mask-RCNN , чтобы найти ограничивающую рамку для каждого объекта и классифицировать их.Или используйте алгоритм оптического потока. Оптический поток алгоритм также является опцией вместо использования глубокого обучения, но я, наконец, решил не использовать его из-за нескольких возможных результатов, которые сделали его с моей точки зрения менее автоматическим: * объект, который движется, останавливается ивозобновление движения потребует особого внимания * объекты одного основного цвета могут быть разделены на две части (средние пиксели могут быть видны как неподвижные) * группа объектов, проходящих вместе, вероятно, будет рассматриваться как один объект
3. Тогдаиспользуя алгоритм отслеживания , вы сможете присвоить конкретный идентификатор каждому объекту и, следовательно, подсчитывать, когда они проходят определенную строку.