Avisynth под WINE - ваш лучший выбор. Вы можете использовать ffmpeg или mencoder для фактического кодирования и avisynth .avs файлы для фактического редактирования. Возможно, вам придется использовать mencoder под WINE для доступа к файлам avs. Я сам не пробовал, но это должно сработать, за исключением проблем с вином.
Если это часть какого-то производственного приложения, если есть какой-то способ перенести работу на настоящий компьютер с Windows, вы сэкономите много боли.
Если вы хотите испачкать руки, вы можете попробовать использовать gstreamer и Gnonlin , чтобы создать собственное видео приложение CLI. На самом деле вы можете использовать такой язык, как Ruby, чтобы вызывать gstreamer, поэтому вам не нужно использовать C.