/usr/local/bin/MP4Box, -3gp, -hint, /opt/myproject/contents/29443b_3gp.hint
Возможно, эти запятые являются причиной вашего значения выхода.
Как вы запускаете это из командной строки? Возможно, так?
/usr/local/bin/MP4Box -3gp -hint /opt/myproject/contents/29443b_3gp.hint
Если да, то вам нужно разделить запятые перед выполнением.
Редактировать : из вашего комментария запятые проблематичны.
Я думаю, вы слишком усложняете свой метод. Это должно быть проще для глаз:
createHinted3gpFile (String localfile) {
Runtime.getRuntime().exec("/usr/local/bin/MP4Box -3gp -hint " + localfile + ".hint");
}