Это не API как таковой, а инструмент командной строки. Это де-факто видео конвертер, используемый в подобных вещах.
http://www.ffmpeg.org/
UPDATE:
Я не сказал, что это единственный способ, кто-то другой мог бы написать другой инструмент для этого. Учитывая, насколько широко используется ffmpeg, я был бы удивлен, если бы кто-то имел. В любом случае вам нужно искать не API, а видео декодер / кодировщик. Я рекомендую использовать ffmped, он поддерживает практически любой формат кодека / файла, о котором вы только можете подумать, имеет хорошую поддержку, хорошо выполняет свою работу и довольно прост в использовании.
Поиск в Google для кодирования видео .NET Я нашел это (/29392/kodirovanie-video-wmv-v-realnom-vremeni-v-c).