Как программно реалистично изменить видеоклип во время воспроизведения?

Question

Некоторое время назад я наткнулся на интересную подборку видео-презентаций на сайте немецкой компании.Они занимаются модификацией видеопотока во время его воспроизведения, и я был приятно удивлен точностью и плавностью этой техники.Из всех этих презентаций я считал одну из них довольно увлекательной с точки зрения смешивания текста в динамическом воспроизводящем видео.Он позволяет вам вводить строку в текстовое поле во время воспроизведения видео и встраивать преобразованные варианты текста, написанного вами в видео, с реалистичной точностью.Мой вопрос: если бы вы узнали, какой алгоритм требуется для такой функции, как я могу программным образом вставлять текст и изображения в реальном времени в видеопоток?Есть ли какие-нибудь исследовательские работы или библиотеки, в которые я должен обратиться за подробностями?

PS.Не жалейте меня на содержание видео, мне интересна техника программирования, это лучший пример, который я могу найти.

Answer 1

Это называется дополненной реальностью, и для этого доступно множество библиотек и наборов инструментов, таких как artoolkit http://www.hitl.washington.edu/artoolkit/

Answer 2

Хорошо, так что я на самом деле посмотрел на ваш пример. Так как это предварительно записанное видео, они могли просто отследить четыре угла поля на целевой поверхности. Затем для рендеринга вы просто делаете перспективное преобразование вашего текста в целевой прямоугольник. Чтобы смешать его, вероятно, нужно было просто выбрать хорошие цвета, наслоения, цветовые преобразования и прозрачность. Здесь нет ничего особенного, только стандартные графические алгоритмы в стиле фотошопа, большинство из которых, вероятно, просто встроены во флэш-память.

Answer 3

Чтобы сделать это, вам нужно будет просто переместить кадр перед его рендерингом.

В основном:

1. Считывание кадра
2. Изменить рамку
3. Рендер

Там действительно нет алгоритма, чтобы сделать это.