mencoder -oac copy -ovc copy file1 file2 file3 … -o final_movie.mpg
Вы пробовали с менкодером?
Кроме того, все ли файлы имеют одинаковый битрейт и размеры? Если нет, вам нужно убедиться, что все видеофайлы идентичны в этих двух областях, прежде чем пытаться объединить. Также кажется, что вы пытаетесь объединить .avi с одним .mpg, вы, скорее всего, захотите преобразовать .mpg в аналогичный формат при перекодировании.
Надеюсь, это поможет.