Это потому, что вы установили видеокодек скопированным ... Чтобы иметь возможность добавлять субтитры, mencoder должен перекодировать видео.
Это будет работать
/usr/local/bin/mencoder -oac copy -ovc lavc -sub "mov.srt" -o "Domino_with_subs.avi" "mov.avi"