Flink EMR Установка - PullRequest
Новая
       25

Flink EMR Установка

0 голосов
/ 10 мая 2018

Я новичок и пытаюсь развернуть это на кластере EMR. Я использовал 3 узла кластера (1 ведущий и 2 ведомых) с их конфигурацией по умолчанию. Я не делал никаких изменений конфигурации и придерживался конфигурации по умолчанию.

Мне любопытно понять следующие моменты:

  1. Как ведущий и ведомый взаимодействуют друг с другом, поскольку я не упомянул ни одного IP-адреса в conf / slave на главном узле?

  2. Я вижу библиотеку flink в главном узле (путь: / usr / lib / flink), но не могу найти библиотеку flink в подчиненных узлах. Как мой код выполняется на подчиненных узлах?

  3. Я изменю некоторые настройки в соответствии с моими требованиями в файле conf / flink-config.yml, если это необходимо. Нужно ли делать какие-либо другие изменения на главном или подчиненном узле, кроме этого?

1 Ответ

0 голосов
/ 11 мая 2018

См. Вики-страницу Запуск flink-crawler в EMR , чтобы узнать, как мы запускаем потоковое задание Flink поверх EMR.Обратите внимание, что в этом режиме Flink работает через YARN, поэтому файл Flink conf/slaves не используется.Вам также следует взглянуть на документацию YARN Setup , чтобы лучше понять, как Flink работает поверх YARN.

...