Как отправить задание рабочего процесса в кластер без высокой доступности в Oozie - PullRequest
Новая
       13

Как отправить задание рабочего процесса в кластер без высокой доступности в Oozie

0 голосов
/ 31 октября 2018

В кластере E-MapReduce пользователь Oozie по умолчанию устанавливается с sharelib в Alibaba Cloud ECS.

Я хочу отправить задание рабочего процесса в кластер без высокой доступности. Может ли кто-нибудь помочь мне достичь этого.

Я ценю любую помощь с этим.

1 Ответ

0 голосов
/ 31 октября 2018

Поскольку кластеры с включенной и без включенной HA имеют разные режимы для доступа к NameNode и ResourceManager, выполните следующие шаги, чтобы отправить задание рабочего процесса.

Шаг 1: Настройте NameNode и JobTracker в job.properties файле. 

nameNode=hdfs://emr-header-1:9000

jobTracker=emr-header-1:8032

Шаг 2: Отправить задание рабочего процесса

  1. Зарегистрируйтесь на главном главном узле кластера. 

    ssh root@publicIp_of_master

  2. Скачать код с OSS 

    [root@emr-header-1 ~]# su oozie
[oozie@emr-header-1 root]$ cd /tmp
[oozie@emr-header-1 tmp]$ wget http://OSS PATH/oozie-examples.zip
[oozie@emr-header-1 tmp]$ unzip oozie-examples.zip

  3. Синхронизация кода рабочего процесса Oozie с hdfs. 

    [oozie@emr-header-1 tmp]$ hadoop fs -copyFromLocal examples/ /user/oozie/examples

  4. Отправить пример задания рабочего процесса Oozie. 

    [oozie@emr-header-1 tmp]$ $OOZIE_HOME/bin/oozie job -config examples/apps/map-reduce/job.properties -run

Примечание: после успешного выполнения будет возвращен jobId.

...