Моделирование и генерация синтетического видео для оценки алгоритмов компьютерного зрения

Question

Я ищу простой способ создания синтетических видеороликов для тестирования программного обеспечения компьютерного зрения.

В настоящее время мне известен только один инструмент, который нацелен на эту потребность: ObjectVideo Виртуальное видео (OVVV) . Это мод HalfLife 2, который позволяет имитировать камеры в виртуальном мире.

Но я ищу более открытое (например, с открытым исходным кодом) и, возможно, портативное решение. Одним из способов было бы реализовать необходимую функциональность поверх одного из дюжины 3D-движков с открытым исходным кодом. Хотя было бы замечательно, если бы кто-нибудь знал библиотеку или инструмент, который уже реализует что-то вроде OVVV.

Кроме того, если у вас нет готового решения: как бы вы решили проблему?

PS: Я спрашиваю здесь, потому что я хочу минимизировать свои усилия, потраченные на эту проблему. Дело не в том, что я понятия не имел, как это сделать. Но мои решения потребовали бы от меня много времени. Поэтому я ищу конкретные советы здесь ...: -)

Answer 1

Если бы я был в вашей ситуации, я бы, вероятно, использовал POV-Ray, так как можно писать код на любом языке, чтобы создавать файлы .pov для его подачи. Это замечательно, когда важны точная геометрия, освещение, текстуры и сложные точные движения. POV-Ray может быть запущен полностью из командной строки или программно с помощью вызова system () или аналогичного.

Хотя POV-Ray не является открытым исходным кодом в обычном смысле этого слова, он бесплатный, и вы можете получить его источник.

Answer 2

А как насчет использования одного из игровых движков с открытым исходным кодом? Если я правильно помню, движок Quake теперь находится в свободном доступе, и его может быть достаточно для ваших нужд.

Большинство движков предоставляют функции сценариев (часто Lua), предназначенные для поведения ИИ и объектов, но которые могут легко обеспечить необходимую программируемость.

Редактировать: хитрости для программного применения шума / искажения и других эффектов постобработки к видео

Короткий сценарий, написанный на AviSynth , обеспечит размытие, искажения, изменения контрастности / частоты кадров, добавление шума и множество других возможных эффектов. Эти эффекты предоставляются «на лету» покадрово, , поэтому вам не нужно «рендерить» вывод в огромный видеофайл для тестирования . Видеопрограммы будут обрабатывать файлы сценариев как обычное видео, хотя при воспроизведении им требуется больше ресурсов процессора. Таким образом, вы можете передать в ваш компьютерный пакет программных сценариев AviSynth для тестирования, которые могут передаваться из одного и того же видеоисточника, но с разными уровнями шума, размытия и т. Д. При тестировании можно сэкономить МНОГО времени и дискового пространства!

Их сайт ненадолго отключен, я думаю, но вы можете найти пакеты для DL повсюду, поскольку он с открытым исходным кодом и широко используется.

Answer 3

Я видел Огр , использованный для этой цели.