Задать имя приложения YARN для задания Hadoop Distcp - PullRequest
Новая
       28

Задать имя приложения YARN для задания Hadoop Distcp

0 голосов
/ 30 января 2019

ПРИМЕЧАНИЕ. Я не хочу указывать имя очереди YARN, как в Hadoop: указать очередь пряжи для distcp

Iчасто используйте hadoop distcp для перемещения данных по HDFS и хотели бы иметь описательное имя приложения для этих заданий.

В настоящее время все задания копированияпросто появляются с именем "distcp" в Resource Manager пользовательском интерфейсе, и нет никакой возможности различать различные задания.

enter image description here

Есть лиспособ улучшить это?

1 Ответ

0 голосов
/ 30 января 2019

Как и многие другие инструменты MR , hadoop distcp также позволяет передавать mapred свойства с использованием

-Dmapred.property.name=property-value

, поэтому, когда я использую 

hadoop distcp \
  -Dmapred.job.name=billing_db.replicate \
  -m 10 \
  /user/hive/warehouse/billing_db.db/ \
  s3a://my-s3-bucket/billing_db.db/

, он прекрасно отображается на Resource Manager UI

enter image description here

Ссылки

...