Как использовать пользовательское назначение пула для FairScheduler в Hadoop? - PullRequest
0 голосов
/ 13 июля 2010

Я пытаюсь воспользоваться несколькими пулами в FairScheduler.Но все мои работы отправляются одним агентским процессом и, следовательно, все принадлежат одному и тому же пользователю.

Я установил mapred.fairscheduler.poolnameproperty в scheduler.pool.name, а затем в каждой задаче, которую я установил "scheduler.pool.name "в конкретный пул из pools.xml, который я хочу использовать для этой работы.На веб-странице конфигурации задания я вижу, что оба свойства имеют ожидаемые значения, а на веб-странице планировщика отображаются все пулы, которые я пытаюсь использовать.Однако все задания все еще выполняются в пуле% username%, где username - это имя пользователя, которое использовалось для отправки всех заданий.Я использую версию 0.20.1 hadoop из дистрибутива Cloudera.

Есть идеи, как заставить мои задания работать в пуле, который не зависит от имени пользователя, отправившего задание?

1 Ответ

0 голосов
/ 15 июля 2010

Похоже, что перезапуска Jobtracker было недостаточно для создания новой конфигурации. После перезапуска все средства отслеживания задач и назначения пула средств отслеживания заданий работают как положено.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...