Как использовать данные OpenPose для сегментирования длинного клипа?

Question

Мне нравится библиотека OpenPose - и я давно играю с демо. Мне нравится опция выплевывания JSON данных файла поз.

Я хотел спросить - есть ли какие-то примеры, которые я пропустил, или решения, где кто-то берет данные, которые ставят ключевые точки и использует их для сегментирования длинного клипа?

Например: если я хотел вырезать клип одного человека, пробивающего другого - и использовать его для обучения сети, чтобы сегментировать другой более длинный клип, чтобы TRIM только удар, если таковой имеется в другом клипе.

Любая помощь будет оценена. Использование Python / Tensorflow

Answer 1

OpenPose анализирует каждый кадр видео. Вам просто нужно войти в него, чтобы выполнить анализ и решить, сохранить ли эту часть или нет.

Вы можете импортировать видео как видеозахват CV, извлекать каждый кадр в cv Mat, конвертировать с помощью CV2OPMAT, извлекать ключевые точки и запускать «определение удара» на кадре. Вы можете ссылаться на примеры OpenPose для анализа изображений. Если кадр соответствует критериям сохранения кадра перед преобразованием (CV MAT) обратно в видео с использованием CV Video Writer, как в этом примере: https://www.life2coding.com/convert-image-frames-video-file-using-opencv-python/

Дополнительные соображения, возможно, вам придется преобразовать пиксели в Формат BGR с использованием CV CVTCOLOR.

Дайте мне знать, если это работает:)