Чтобы сохранить душевную боль, я повторяю предложение Фрэнка просто использовать FFMPEG. Выполнение отдельного процесса FFMPEG с правильными аргументами будет 100% самым простым способом для достижения ваших целей кодирования.
Ваши другие варианты включают:
libavcodec - Центральная библиотека, используемая в FFMPEG. Я предупреждаю, что не существует большого числа доступных для Windows двоичных файлов libavcodec, поэтому вам, вероятно, придется скомпилировать свой собственный, что, как минимум, потребует установки Cygwin или MingW.
ffdshow-tryouts - Библиотека видеокодеков, реализованная в виде фильтра DirectShow на основе libavcodec. Кажется, у них есть API для управления им, но это библиотека .NET.