Мое лучшее предположение состоит в том, что вам нужно установить некоторые переменные окружения, требуемые процессом InstallAnywhere; Я не очень знаком с этим продуктом, но, возможно, ему нужен домашний каталог для продукта, местоположение файла лицензии, значение лицензионного ключа и т. Д.
Один из простых способов отладки - проверить, работает ли Hudson под тем же пользователем, которого вы используете для запуска сценария Ant из командной строки, а затем проверить параметры среды для пользователя командной строки, если они отличаются.