Настройте Flink Rest API на Amazon EMR - PullRequest
Новая
       29

Настройте Flink Rest API на Amazon EMR

0 голосов
/ 06 сентября 2018

Я запускаю приложение Flink через YARN на Amazon EMR с одним ведущим и одним ведомым.

Я пытаюсь подключиться по ssh к главному узлу, а затем получить доступ к API Flink REST, но могу:Получите EMR, чтобы использовать тот же хост / порт статически.

Я попытался добавить эту конфигурацию в EMR и извлечь хост из частного DNS текущего главного узла.Фактический порт, на котором он запускается, отличается для каждого yarn-session. 

 [
  {
    "Classification": "flink-conf",
    "Properties": {
      "rest.port": "44477",
      "jobmanager.web.port": "44477",
      "jobmanager.web.upload.dir": "/home/hadoop"
    }
  }
]

. Я убедился, что свойства также отражены в файле flink-conf.yaml.

Вот выдержка из журнала запуска: 

2018-09-06 21:34:33,749 INFO  org.apache.flink.configuration.GlobalConfiguration            - Loading configuration property: env.yarn.conf.dir, /etc/hadoop/conf
2018-09-06 21:34:33,751 INFO  org.apache.flink.configuration.GlobalConfiguration            - Loading configuration property: env.hadoop.conf.dir, /etc/hadoop/conf
2018-09-06 21:34:33,751 INFO  org.apache.flink.configuration.GlobalConfiguration            - Loading configuration property: rest.port, 44477
2018-09-06 21:34:33,751 INFO  org.apache.flink.configuration.GlobalConfiguration            - Loading configuration property: jobmanager.web.port, 44477

Flink JobManager is now running on ip-10-2-3-25.ec2.internal:41161 with leader id 00000000-0000-0000-0000-000000000000.
JobManager Web Interface: http://ip-10-2-3-25.ec2.internal:41161

1 Ответ

0 голосов
/ 07 октября 2018

Я также отправил по электронной почте список рассылки Flink и обнаружил, что это было результатом использования YARN, который я настроил для EMR. YARN игнорирует конфигурацию Flink, поскольку переменные задаются во время выполнения и доступны через команду cli yarn application -status [appId], где [appId] - это идентификатор приложения YARN, который можно найти с помощью yarn application -list.

...