FLINK: развертывание заняло более 60 секунд

Question

Я новичок, чтобы моргнуть и пытаюсь развернуть мой jar на кластере EMR.Я использовал 3 узла кластера (1 ведущий и 2 ведомых) с их конфигурацией по умолчанию.Я не делал никаких изменений конфигурации и придерживался конфигурации по умолчанию.При выполнении следующей команды на моем главном узле:

flink run -m yarn-cluster -yn 2 -c Main /home/hadoop/myjar-0.1.jar

Я получаю следующую ошибку:

INFO  org.apache.flink.yarn.YarnClusterDescriptor- Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster

Может кто-нибудь объяснить, что может быть причиной этой ошибки?

Answer 1

Поскольку вы не определили какие-либо ресурсы (память, ядро ​​процессора), я думаю, это потому, что у кластера YARN нет нужного ресурса, особенно памяти.Попробуйте отправить файл jar с помощью команд следующего типа:

flink run -m yarn-cluster -yn 5 -yjm 768 -ytm 1400 -ys 2 -yqu streamQ my_program.jar

Более подробную информацию о команде можно найти здесь

Вы можете проверить журналы приложений в веб-интерфейсе YARN.чтобы точно понять, в чем проблема.

Также проверьте следующие сообщения:

• Пост1
• Пост2