Вы уверены, что VLC является источником проблемы качества, с которой вы столкнулись? Вы изменили какие-либо настройки энкодера? Вы ничего не упомянули о кодеках, битрейтах и т. Д.
Другим вариантом будет открытый код FFmpeg , который находится в той же лиге, что и VLC.