Hadoop в Batch System как пользовательский процесс - PullRequest
1 голос
/ 09 февраля 2012

Я видел Hadoop-on-Demand и интеграцию Hadoop в SGE.Насколько я понимаю, это требует прав администратора, которых у меня нет на большом кластере на работе.Администраторы заняты своими делами и не смогут настроить нас на месяцы.

Я осознаю ограничения, которые временный виртуальный кластер накладывает на утилиту HDFS.Я также понимаю, как использование блочной файловой системы идет вразрез, но кто-нибудь написал сценарии SGE или Torque (PBS) для отправки задания в кластер, который запускает экземпляр hadoop?

1 Ответ

0 голосов
/ 09 февраля 2012
...