Большинство кодеков работают из коробки под DirectShow, так что это не должно быть проблемой.
Но большинство «текущих» кодеков не являются бесплатными. Повторите это, h264, даже если вы используете x264, не роялти. Вы должны заплатить за кодировщик определенную сумму. В этом тщетном Xvid находится в той же лодке. Единственные кодеки, которые действительно бесплатны - это VP4 (OggTheora) и VP8 (WebM). Ни один из них не пользуется большой поддержкой со стороны компьютерных пользователей-энтузиастов.
Сжатие в реальном времени не является целью текущего поколения кодеков, с другой стороны, особенно x264 был оптимизирован для быстрого кодирования с низкой задержкой, если вы предоставите правильные параметры. Вы должны проверить, обеспечивает ли ваша целевая платформа достаточную производительность для кодирования в реальном времени с помощью этого кодека.
NB. Существует несколько коммерческих реализаций кодеков h264 / MPEG4 / MPEG2 от нескольких поставщиков. Может быть, один из них соответствует вашим потребностям.