Используйте какой-нибудь замок. Например, используйте блокировку файлов в каталоге, чтобы ресурс мог использовать только один процесс за раз.
Для этого потребуется скрипт-обертка для кодировщика, который будет ожидать снятия блокировки работающим в данный момент кодировщиком.
Он также должен быть достаточно умен, чтобы определять, когда блокировка не была снята, если кодер выходит из строя, и снимать блокировку.
Edit:
Мое понимание проблемы заключалось в том, что в сценарии было несколько вызовов, каждый из которых вызывал mencoder. Однако из другого ответа кажется, что это может быть один вызов, запускающий все процессы в фоновом режиме. Тогда я думаю, что решение с использованием семафоров лучше.
Edit:
Похоже, кто-то задавал этот вопрос раньше:
лучший способ к получить-а-замок-в-PHP