Я видел Hadoop-on-Demand и интеграцию Hadoop в SGE.Насколько я понимаю, это требует прав администратора, которых у меня нет на большом кластере на работе.Администраторы заняты своими делами и не смогут настроить нас на месяцы.
Я осознаю ограничения, которые временный виртуальный кластер накладывает на утилиту HDFS.Я также понимаю, как использование блочной файловой системы идет вразрез, но кто-нибудь написал сценарии SGE или Torque (PBS) для отправки задания в кластер, который запускает экземпляр hadoop?