Почему я не вижу выполнения конкретной задачи в Yarn при использовании H2O на hadoop? - PullRequest
Новая
       10

Почему я не вижу выполнения конкретной задачи в Yarn при использовании H2O на hadoop?

0 голосов
/ 31 мая 2018

Я выполнил H2O на пряже в соответствии с официальными требованиями: 

http://h2o-release.s3.amazonaws.com/h2o/rel-wolpert/11/index.html

Это моя команда: 

cd ~/opt/h2o-3.18.0.8-hdp2.6
hadoop jar h2odriver.jar -nodes 1 -mapperXmx 6g -output /user/spark/h2o-3_output

И кластер h2o успешно работает.enter image description here

Но после того, как я запустил пример потока в потоке воды, я не увидел никаких расчетов, связанных с алгоритмом GBM, только сам H2O.enter image description here

Я думал, что увижу что-то подобное. Это результат диаграммы потоков дерева решений с использованием RapidMiner, которая представляет каждую конкретную задачу.enter image description here

1 Ответ

0 голосов
/ 31 мая 2018

То, что вы видите, является ожидаемым поведением от H2O.

H2O просто использует YARN, чтобы получить контейнеры для рабочих узлов H2O для работы.Когда эти контейнеры работают, H2O имеет ресурсы ЦП и памяти для работы и больше не взаимодействует с YARN.Итак, менеджер ресурсов YARN знает, что H2O работает, как вы видите, но не знает подробностей.

Чтобы увидеть подробности, перейдите в веб-интерфейс потока H2O (как указано в «Открытом потоке H2O»).сообщение в выводе выше).Пункт меню Admin-> Jobs показывает, что вы ищете.

...