Как получить идентификатор приложения при отправке заданий Flink в интерфейс командной строки Yarn? - PullRequest
Новая
       29

Как получить идентификатор приложения при отправке заданий Flink в интерфейс командной строки Yarn?

0 голосов
/ 10 октября 2018

моя команда строит вычислительную платформу в реальном времени на основе Flink.Мы представляем работу Flink для пряжи.Мы создаем Process и запускаем команду commit используя CLI.Чтобы получить идентификатор приложения пряжи, мы создаем поток и анализируем выходные данные процесса.Идентификатор приложения используется в других методах.

Например, мы отправляем задание с помощью этой команды: 

nohup flink run  -m yarn-cluster -d -yqu root.default 
-ynm BDP_RTC_FLINK_10457_MultiOutputTestFrontEnd -yjm 1024 
-yn 2 -ytm 1024 -ys 2

Вывод показан ниже: 

2018-10-10 11:21:04 [info] 2018-10-10 11:21:04,629 INFO  org.apache.flink.yarn.AbstractYarnClusterDescriptor           - Submitting application master application_1536669298614_67675
2018-10-10 11:21:04 [info] 2018-10-10 11:21:04,654 INFO  org.apache.hadoop.yarn.client.api.impl.YarnClientImpl         - Submitted application application_1536669298614_67675
2018-10-10 11:21:04 [info] 2018-10-10 11:21:04,656 INFO  org.apache.flink.yarn.AbstractYarnClusterDescriptor           - Deploying cluster, current state ACCEPTED
2018-10-10 11:21:12 [info] 2018-10-10 11:21:12,699 INFO  org.apache.flink.yarn.AbstractYarnClusterDescriptor           - YARN application has been deployed successfully.
2018-10-10 11:21:12 [info] 2018-10-10 11:21:12,700 INFO  org.apache.flink.yarn.AbstractYarnClusterDescriptor           - The Flink YARN client has been started in detached mode.

Анализируемобработать вывод и получить идентификатор приложения: application_1536669298614_67675.

Есть ли другие элегантные решения для получения идентификатора приложения в нашей ситуации?

1 Ответ

0 голосов
/ 22 января 2019

Может быть, вы сможете получить связь между приложением пряжи и заданием Flink.

Сначала перечислите приложение пряжи. 

yarn application -list

Затем вы получите список приложений, и выможет перечислить работу моргания на приложении пряжи. 

./bin/flink list -m yarn-cluster -yid <Yarn Application Id>

Кстати, вы можете использовать 

./bin/flink run -d

не использовать 

nohup
...