Флинк автономный кластер

Question

Я пытаюсь настроить простой автономный кластер Flink. Я следовал этим инструкциям. У меня есть два сценария:

1) 1 ведущий и 2 ведомых, которые находятся в сети компании, что в соответствии с ИТ-услугами позволяет мне получить доступ к любому порту (я сомневаюсь в этом).

2) 1 ведущий и 1 ведомый, которые находятся в моей домашней сети.

В обоих сценариях я могу получить доступ к веб-интерфейсу Flink после запуска сценария start-cluster.sh в моем диспетчере master / job. Однако я не вижу менеджеров задач. В сценарии 2 я смог заставить его работать (см. Диспетчеры задач), только если я запустил start-cluster.sh в и master, и slave (что не описано вучебные пособия), причем только мастер имеет доступ без пароля (все еще использующий ключевую фразу) к рабам (см. мои вопросы ниже, чтобы выяснить, почему я упоминаю об этом). Я все еще не могу видеть диспетчеры задач в сценарии 1, даже если я запускаю start-cluster.sh на всех узлах (master и slave).

Основываясь на них, у меня есть 4 вопроса:

В1) Нужно ли запускать сценарий start-cluster.sh на каждом компьютере (т. Е. Мастерах и подчиненных)?

В2) Документация предполагает необходимость использования ssh без пароля. Я следовал инструкциям для этого, и я смог это сделать, но он по-прежнему запрашивает фразу-пароль , когда я запускаю кластер для подключения к каждому ведомому. Вот как должно выглядеть соединение без пароля, или я должен попробовать что-то еще?

Q3) Нужно ли моим подчиненным, чтобы иметь возможность использовать ssh без пароля, мастер или только мастер, чтобы подключить пароль? меньше рабов?

Q4) Если мне нужно попросить ИТ-службы открыть порты Flink для меня, не могли бы вы подтвердить, что они мне понадобятся только для открытия 8081 (для веб-интерфейса) и 6123, которые я определяю (значение по умолчанию) в параметре jobmanager.rpc.port: в моем файле flink-conf.yaml?

Конфигурация для сценария 1: 3 Машины Ubuntu Linux с Open JDK 8

Конфигурация для сценария 2: 2 Mac OS X 10 машины с Oracle JDK 8

В обоих случаях яиспользуйте Apache Flink 1.7.1

Answer 1

Мне удалось заставить мастера видеть диспетчеров задач. Проблема была с установкой Java. Хотя я был почти уверен, что установил openjdk 8 на все машины, установив переменную PATH и переменную JAVA_HOME для всех них, указывающих на один и тот же JDK, похоже, что проблема была решена простым добавлением параметра env.java.home вflink-conf.yaml чтобы явно указать мой путь JDK (например, /usr/lib/jvm/java-8-openjdk-amd64)

Оказывается, что теперь я могу ответить на некоторые из моих вопросов:

Q1) Нет, start-cluster.sh должен выполняться только на мастере.

Q2) Я переключился на соединение ssh без ключевой фразы (просто сгенерировал ключ и нажал клавишу ввода, когда его спросили, оставив его пустым). Хотя Я не знаю, нужно ли это .

Q3) Нет, только мастер должен иметь доступ к подчиненным без пароля.

Q4) Мастер открываетсяи слушает порты 8081 и 6123. Он также открывает еще несколько портов (по одному для каждого ведомого?). Если вы сделаете sudo lsof -i -P -n, вы увидите, какие другие порты открыты, поскольку они меняются каждый раз.