Что на самом деле означает -m пряжа-кластер?

Question

Я новичок в Flink, я использую следующий скрипт для отправки пакетного режима Word Count в пряжу.

./flink run -m yarn-cluster ../examples/batch/WordCount.jar

Он работает в режиме кластера пряжи, поэтому JM будет работатьв одном узле кластера пряжи.

Пока все хорошо, но я не понимаю, почему я вижу результат набора данных слова, напечатанный на консоли, где я запускаю приведенный выше скрипт?

Мне интересно, каково поведение flink yarn-cluster, например, если я запускаю Dataset # collect, какой процесс получит элементы?

Answer 1

Вы видите результаты, потому что JobManager отправляет их клиенту (сценарий строки cmd).

• Режим кластера пряжи означает, что вы запускаете отдельный кластер для каждого выполнения.
• Режим сеанса пряжи означает, что вы отправляете кластер, который уже работает.

Вы можете узнать больше о том, как работает распределенная среда выполнения здесь .