Как получить идентификатор задания для определенных запущенных заданий hadoop - PullRequest
0 голосов
/ 30 октября 2018

Мне нужно получить идентификатор конкретной работы hadoop. В моем случае я удаленно обедаю sqoop commande и проверяю статус задания с помощью этого commande:

hadoop job -status job_id | grep -w 'state'   

Я могу получить эту информацию из графического интерфейса, но я пошел что-то делать кто-нибудь может мне помочь !!!

1 Ответ

0 голосов
/ 30 октября 2018

Вы можете использовать API-интерфейс Yarn REST через браузер или из командной строки. В нем будут перечислены все текущие и ранее запущенные задания, включая sqoop и задания mapreduce, которые sqoop генерирует и выполняет. Сначала используйте пользовательский интерфейс, если он у вас запущен и работает, просто укажите браузеру http:<host>:8088/cluster (не уверен, что порт одинаков во всех дистрибутивах hadoop. Я полагаю, что 8088 - это значение по умолчанию для apache). В качестве альтернативы вы можете напрямую использовать команды пряжи, например, yarn application -list.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...