Это в значительной степени то, что делают Air Video Server и другие подобные программы. Я не могу дать вам точное решение здесь, но Air Video использует ffmpeg, поэтому должна быть возможность создать собственное решение с использованием ffmpeg. Просматривая процессы во время запуска живого преобразования в Air Video, вы также получите используемые параметры. Может быть, это поможет вам в правильном направлении:)