Flink Job Cluster vs Session Cluster - развертывание и настройка - PullRequest
Новая
       6

Flink Job Cluster vs Session Cluster - развертывание и настройка

1 голос
/ 10 января 2020

Я изучаю возможности развертывания docker / k8s для Flink 1.9.1.

Я после чтения / просмотра [1] [2] [3] [4].

В настоящее время мы думаем, что попробуем go с подходом Job Cluster, хотя нам хотелось бы знать, какова тенденция сообщества с этим? Мы бы предпочли не развертывать более одного задания на кластер Flink.

В любом случае, меня интересовало несколько вещей:

  1. Как я могу изменить количество слотов задач на диспетчер задач для кластера заданий и сессий? В моем случае я запускаю docker на VirtualBox, где у меня есть 4 процессора, назначенных на эту машину. Однако у каждого менеджера задач есть только один слот задач для кластера заданий. Однако с помощью Session Cluster на одном и том же компьютере каждый диспетчер задач создается с 4 слотами для задач.

    В обоих случаях пользовательский интерфейс Flink показывает, что каждый диспетчер задач имеет 4 ЦП.

  2. Как я могу повторно отправить работу, если я использую Job Cluster. Я имею в виду этот вариант использования [5]. Вы можете сказать, что я должен начать работу снова, но с другими аргументами. Какая процедура для этого? Я использую контрольные точки между прочим.

Должен ли я уничтожить все контейнеры диспетчера задач и перезапустить их с другими параметрами?

Как я могу повторно отправить задание, используя Session Cluster?

Как я могу предоставить конфигурацию журнала для кластера Job / Session? У меня есть случай, когда я изменил уровень журнала и формат журнала в log4j.properties, и это нормально работает в локальной среде (IDE). Однако, когда я создаю толстый jar и запускаю кластер заданий на основе этого jar, он показывает, что мои свойства log4j не передаются в кластер. Я вижу исходный формат и уровень оригинала (INFO).

Спасибо,

[1] https://youtu.be/w721NI-mtAA

[2] https://youtu.be/WeHuTRwicSw

[3] https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/docker.html

[4] https://github.com/apache/flink/blob/release-1.9/flink-container/docker/README.md

[5] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-Job-claster-scalability-td32027.html

1 Ответ

0 голосов
/ 15 января 2020

В настоящее время мы думаем, что попробуем go с подходом Job Cluster, хотя нам хотелось бы знать, какова тенденция сообщества с этим? Мы не будем развертывать более одного задания на кластер Flink.

Этот вопрос, вероятно, лучше подходит для списка рассылки пользователя.

Как изменить количество Слоты задач на диспетчер задач для кластера заданий и сеансов?

Вы можете управлять этим с помощью параметра конфигурации taskmanager.numberOfTaskSlots

Как я могу повторно отправить работа с использованием Session Cluster?

Это описано здесь . Суть в том, что вы создаете точку сохранения и возобновляете свою работу с нее. Также возможно возобновить работу с сохраненных контрольных точек .

Как я могу повторно отправить работу, если я использую Job Cluster.

Концептуально это ничем не отличается от возобновления работы с точки сохранения в кластере сеансов. Вы можете указать путь к точке сохранения в качестве аргумента командной строки для точки входа в кластер. Подробности описаны здесь .

Как я могу предоставить конфигурацию журнала для кластера Job / Session?

Если вы используете сценарии в Каталог bin/ бинарного дистрибутива Flink для запуска кластера (например, bin/start-cluster.sh, bin/jobmanager.sh, bin/taskmanager.sh, et c.), Вы можете изменить конфигурацию log4j, адаптировав conf/log4j.properties. Конфигурация регистрации передается в JVM JobManager и TaskManager как системная переменная (см. bin/flink-daemon.sh). См. Также главу «Как использовать ведение журнала» в документации Flink.

...