После 2 дней тестирования я нашел следующее решение.
Ошибка возникает при активации функции Vista UAC. UAC показывает диалоговое окно с вопросом каждый раз, когда процессу требуются права администратора.
Отображение этого диалога вызывает проблему.
Вместо использования старого
process = rt.exec(fileToExecute, null, mFolder);
команда, я сейчас использую новую 1,5 ProcessBuilder команда
EDIT:
Чтобы избежать проблемы, вы должны открыть командное окно, которое запрашивает разрешение. И чем вам нужно назвать внешний процесс.
ProcessBuilder builder = new ProcessBuilder(new String[] { "cmd.exe", "/C", fileToExecute });
Также здесь описано Выполнить внешнюю Программу