Введенные вами параметры верны, но проблема может быть в параметре /path/to/out.txt
.В случае, если он содержит символ пробела, вы, вероятно, получите эту ошибку:
Unable to find a suitable output format for '\out.txt'
Чтобы это работало, просто заключите его в двойные кавычки:
ffmpeg -i myinput.avi {a-bunch-of-important-params} out.flv 2> "/path/to/out.txt"